AI 하드웨어에 투자: CPU에서 XPU까지

AI 하드웨어에 투자하기: 선택과 삽질 접근법

AI는 지난 수십 년 동안 우리 경제, 생산 시스템, 사회에 가장 중요한 변화를 가져올 것으로 기대되며, 인터넷이 가져온 급진적인 변화조차도 이에 비하면 사소할 수도 있습니다.

운전사, 번역가, 고객 지원, 웹 디자이너 등을 포함한 특정 직업군이 사라질 수도 있습니다. 프로그래머, 초보 변호사, 진단사 등 다른 직업군의 수요가 급격히 감소할 수도 있습니다.

또한, 주요 AI 소프트웨어 회사가 이전에는 상상도 할 수 없었던 시가총액에 가장 먼저 도달할 가능성이 높기 때문에, 다른 많은 업무에서도 많은 추가 가치와 생산성을 창출할 것입니다.

이러한 모든 이유로 자본 시장과 투자자들은 AI에 매료되었으며 AI 분야에서 많은 기술 거대 기업의 진전과 중국 기술 거대 기업과 같은 강력한 경쟁이 나타나는 것에 많은 관심을 기울이고 있습니다. 알리바바  그리고 스타트업 같은 DeepSeek.

AI 붐을 이용하는 또 다른 방법은 모든 골드러시에서 효과가 있었던 전략을 따르는 것입니다. 금을 찾지 말고 곡괭이와 삽을 파는 것입니다. 이 전략은 AI 최적화 하드웨어를 판매할 최적의 위치에 있던 회사들에게 확실히 효과가 있었습니다. 엔비디아 (NVDA ) 게임용 그래픽 카드를 AI 훈련 칩으로 전환하여 세계에서 가장 가치 있는 회사로 만들었고, 놀랍게도 시가총액이 4조 달러를 돌파했습니다.Nvidia에 대한 전체 보고서를 보려면 링크를 따르세요.).

AI는 기존의 다른 컴퓨팅 작업과는 다른 매우 특수한 하드웨어를 필요로 하며, 엄청난 사업 기회이기 때문에 반도체 산업은 현재 AI 프로그램을 훈련하고 실행하기 위해 특별히 설계된 새로운 형태의 하드웨어를 개발하기 위한 경쟁에 돌입했습니다.

엔비디아가 이 부문의 최고 기업 중 하나로 남을 가능성이 높지만, 이제 대안이 등장하고 있으며 일찍 관심을 기울이는 투자자에게는 흥미로운 기회가 될 수 있습니다.

AI에 특수 하드웨어가 필요한 이유

많은 작은 계산

AI 분야의 초기 연구들은 다른 프로그램과 동일한 컴퓨팅 용량을 사용했으며, 주로 프로세서(중앙처리장치, CPU)에 집중했습니다. CPU는 여전히 중요하지만, 현재 AI 개발에 사용되는 대부분의 방법에는 적합하지 않다는 점이 빠르게 드러났습니다.

신경망과 유사한 방법들은 매우 복잡한 하나의 계산 대신, 비교적 간단한 계산을 많이 요구합니다. 따라서 여러 개의 작은 칩을 병렬로 동작시키는 것이 일반적으로 거대하고 강력한 CPU보다 더 효과적입니다.

이것이 GPU가 빠르게 인기를 얻은 큰 이유인데, 그래픽 카드는 본질적으로 수천 개의 작은 계산을 병렬로 수행하도록 설계되었기 때문입니다.

오늘날의 AI 훈련은 대부분 신경망을 기반으로 합니다. 2024년 노벨 물리학상을 수상한 개념으로, 당시 우리가 전담 기사에서 자세히 다룬 보상입니다..

출처: 노벨상

AI 기술의 두 번째 혁명은 "변압기"와 함께 시작되었습니다. 이들은 기존 신경망의 긴 데이터 시퀀스를 효율적으로 처리할 수 없는 것은 모든 자연어의 공통적인 특성입니다..

2017년 구글 연구원들이 처음 도입한 이 기술은 현재 AI 용량 폭발의 근본 원인입니다. 트랜스포머는 ChatGPT를 포함한 LLM(대규모 언어 모델)과 같은 AI 제품의 핵심입니다.

다른 요구 사항

AI 워크플로의 중요한 구별점 중 하나는 다음과 같습니다. 미세 조정 그리고 추론은 둘 다 서로 다른 하드웨어 요구 사항을 갖습니다.

• 미세 조정 특정 도메인의 데이터를 기반으로 모델을 학습시키는 작업으로, 상당한 컴퓨팅 파워와 메모리가 필요합니다. 이는 매우 기술적인 작업이며, 종종 AI 과학의 경계에 위치합니다.
• 추론 이미 훈련된 모델을 사용하여 출력을 생성하는 데 중점을 두고, 컴퓨팅 능력은 덜 필요하지만 지연 시간과 비용 효율성에 더 중점을 둡니다.
  • 이런 일은 AI 전문가가 기존 모델을 활용하여 실제 문제를 해결하는 경우가 더 흔합니다.

따라서 비용은 미세 조정/훈련과 추론/AI 사용 모두에 있어 당연히 중요한 문제이지만, 훈련에는 가능한 한 최고의 하드웨어가 필요한 반면, 사용 작업에서는 최상의 하드웨어 옵션을 선택할 때 하드웨어 비용과 에너지 소비에 더 중점을 둡니다.

CPU 대 GPU

중앙 처리 장치(CPU):

CPU는 범용 하드웨어이며 AI 전용 하드웨어는 아닙니다. 그러나 AI 시스템에서 명령어를 실행하고 기본적인 연산을 수행하는 데 여전히 필수적입니다.

AI 시스템의 최종 사용자와의 인터페이스를 처리하는 대부분의 소프트웨어는 개별 컴퓨터이든 클라우드 기반 소프트웨어이든 CPU 중심적입니다.

출처: AnandTech

CPU는 전용 하드웨어가 크게 필요하지 않은 매우 간단한 AI에도 사용될 수 있습니다. 특히 출력이 특별히 긴급하지 않고 CPU의 비교적 느린 AI 처리 속도가 문제가 되지 않는 경우에 그렇습니다.

따라서 소량의 데이터와 계산을 사용하는 소형 모델도 CPU에서 좋은 성능을 보일 수 있습니다. 일반 컴퓨터에 CPU가 널리 탑재되어 있기 때문에 AI 전용 하드웨어에 투자할 의향이 없는 일반 사용자에게도 좋은 선택입니다.

CPU는 또한 매우 신뢰성 있고 안정적이어서 오류가 없는 것이 중요한 기준인 중요한 작업에 적합한 선택입니다.

마지막으로, CPU는 일반적으로 데이터 로딩, 포맷팅, 필터링, 시각화 등 다른 유형의 하드웨어와 협업하여 AI 훈련의 일부 작업에 유용합니다.

그래픽 처리 장치(GPU):

원래 그래픽 렌더링용으로 설계된 GPU는 병렬 처리를 위해 설계되어 대용량 데이터 세트를 처리해야 하는 AI 모델 학습에 이상적입니다. CPU에서 GPU로 전환하면서 학습 시간이 몇 주에서 몇 시간으로 단축되었습니다.

GPU는 널리 이용 가능하고 IT 전문가가 이를 활용할 수 있는 경험이 풍부하기 때문에 AI 연구를 확장하기 위해 직렬로 설치된 최초의 컴퓨팅 하드웨어 유형이었습니다.

출처: Aorus

GPU의 성공에 중요한 역할을 한 또 다른 요인은 엔비디아가 엔비디아 GPU를 위한 범용 프로그래밍 인터페이스인 CUDA를 개발한 것입니다. CUDA는 게임 이외의 다른 용도로의 활용 가능성을 열어주었습니다. 이는 일부 연구자들이 이미 일반적인 슈퍼컴퓨터 대신 GPU를 사용하여 계산을 수행하고 있었기 때문에 가능했습니다.

"연구자들은 GeForce라는 게임 카드를 사서 컴퓨터에 추가하면 사실상 개인용 슈퍼컴퓨터를 갖게 된다는 것을 깨달았습니다.

분자 동역학, 지진파 처리, CT 재구성, 영상 처리 등 정말 다양한 분야가 있죠."

Sequoia와의 인터뷰에서 Jensen Huang

오늘날 GPU는 여전히 가장 인기 있는 AI 하드웨어 유형 중 하나이며, Nvidia는 기가와트 규모의 AI 데이터 센터를 구축하는 기술 거대 기업의 수요를 충족할 만큼 간신히 생산하고 있습니다.

최근 엔비디아가 출시한 '슈퍼 GPU 시대'의 시작이기도 하다. GB200 NVL72.

이 하드웨어는 여러 개의 작은 GPU를 네트워크로 연결할 필요 없이, 공장 출고 시 바로 하나의 거대한 GPU처럼 작동하도록 설계되었습니다. 덕분에 이전에 기록을 세웠던 H100 모델보다 훨씬 강력해졌습니다.

출처: 엔비디아

또한 에너지 효율성도 훨씬 높아야 하는데, 이는 AI 데이터 센터가 구축되는 속도에 따라 칩 부족에 앞서 AI 산업이 에너지 부족에 직면할 수 있기 때문에 매우 중요한 요소입니다. 또한 컴퓨팅 성능과 에너지 효율이 향상되면 낭비되는 열이 줄어들어 과열 문제도 일시적으로 해결할 수 있습니다.

ASIC과 AI 하드웨어의 부상

ASIC(주문형 집적 회로)은 주어진 컴퓨팅 작업을 위해 특별히 설계된 컴퓨팅 하드웨어로, 비교적 일반적인 GPU보다 더욱 특수화되어 있습니다.

그래서 범용 하드웨어에 비해 유연성과 프로그래밍성이 떨어집니다.

일반적으로 이러한 제품은 더 복잡하고, 생산 규모의 경제가 부족하고 맞춤형 설계 비용이 많이 들기 때문에 일반적으로 비용이 더 많이 듭니다.

그러나 그들은 주어진 작업에 있어서 훨씬 더 효율적이며, 일반적으로 낭비되는 컴퓨팅 성능과 에너지가 훨씬 적으면서 더 빠르게 출력을 생성합니다.

ASIC과 기타 AI 전용 하드웨어의 활용도가 높아지고 있습니다. 일부 계산은 GPU에서 이상적으로 수행할 수 없고, 더 전문화된 장비가 필요하다는 사실이 이 분야에서 점차 인식되고 있기 때문입니다.

텐서 처리 장치(TPU)

TPU는 Google에서 개발했습니다. (GOOGL ) 특히 텐서 계산(변환기 기반 미적분학과 연계)을 수행하기 위한 것입니다. 높은 처리량, 낮은 정밀도의 산술 연산에 최적화되어 있습니다.

출처: C#코너

이를 통해 TPU는 대규모 신경망을 훈련할 때 높은 성능, 효율성, 확장성을 제공합니다.

TPU는 MXU(매트릭스 곱셈 유닛) 및 독점적인 상호 연결 토폴로지와 같은 특수 기능을 갖추고 있어 AI 학습 및 추론을 가속화하는 데 이상적입니다.

TPU는 Gemini를 비롯해 검색, 사진, 지도 등 Google의 모든 AI 기반 애플리케이션을 구동하여 1억 명 이상의 사용자에게 서비스를 제공합니다.

이러한 하드웨어 유형은 신경망의 개발 및 작동 속도를 크게 높일 수 있으며, 가끔 발생하는 오류는 그다지 심각하지 않습니다. 이러한 모델은 처음부터 통계와 많은 계산에 크게 의존하기 때문입니다.

최종 사용자 작업 중에서 TPU에 가장 적합한 작업은 딥러닝, 음성 인식, 이미지 분류입니다.

신경망 프로세서(NNP):

신경처리장치(NPU)와 연결되어 뉴로모픽 칩이라고도 불리는 NPP는 신경망 연산에 특화되어 인간 뇌의 신경 연결을 모방하도록 설계되었습니다. AI 가속기라고도 불리지만, 이 용어는 덜 명확하게 정의되어 있습니다.

NPU는 시냅스 가중치를 통해 저장과 연산을 통합합니다. 따라서 시간이 지남에 따라 조정하거나 "학습"하여 운영 효율성을 향상시킬 수 있습니다.

NPU에는 곱셈과 덧셈, 활성화 함수, 2D 데이터 연산, 압축 해제를 위한 특정 모듈이 포함되어 있습니다.

특수한 곱셈 및 덧셈 모듈은 행렬 곱셈 및 덧셈, 합성곱, 내적 및 기타 함수를 계산하는 등 신경망 응용 프로그램 처리와 관련된 작업을 수행하는 데 사용됩니다.

이러한 특수화는 NPU가 일반 하드웨어로 수천 번의 계산을 수행하는 대신 단 한 번의 계산으로 연산을 완료하도록 도울 수 있습니다. 예를 들어, IBM은 NPU가 GPU에 비해 AI 계산 효율성을 획기적으로 향상시킬 수 있다고 주장합니다..

"테스트 결과, 일부 NPU 성능은 동일한 전력 소비량에서 동급 GPU보다 100배 이상 뛰어난 것으로 나타났습니다."

이러한 에너지 효율성 덕분에 NPU는 제조업체에서 사용자 기기에 설치하여 생성 AI 앱의 로컬 작업을 수행하는 데 도움이 되는 것으로 널리 사용됩니다. 이는 "엣지 컴퓨팅"의 한 예입니다. (자세한 내용은 아래를 참조하세요.)

현재 신경모사 칩을 만드는 방법에는 여러 가지 방법이 연구되고 있습니다.

• 초기 강유전체 활용, 아직도 잘 이해되지 않는 현상입니다.
• 바나듐이나 티타늄을 이용한 활성기판.
• 메모리스터 사용, 새로운 유형의 전자 부품으로, 1/800으로 AI 작업 수행^th정상 전력 소비량.

A보조 P황홀 U알 (XPU)

XPU는 CPU(프로세서), GPU(그래픽 카드/병렬 프로세서), 메모리를 동일한 전자 장치로 통합합니다.

출처: 브로드 컴

XPU는 모든 하드웨어를 독립형 장치로 통합하는 개념의 다양한 변형을 포함하는 광범위한 용어입니다. 데이터 처리 장치(DPU), 인프라 처리 장치(IPU), 및 기능 가속 카드(FAC).

XPU는 하위 유닛 간 연결성에 대한 필요성이 커지면서, 사용 가능한 컴퓨팅 성능보다 데이터 지연이 컴퓨팅 속도를 늦추는 주요 요인이 되는 AI 데이터 센터의 문제점을 해결하는 것으로 여겨진다.

기본적으로 칩(GPU, TPU, NPP 등)은 실제 작업하는 동안 만큼이나 데이터를 기다리고 있습니다.

이 기술의 선두주자는 Broadcom입니다. (AVGO ), 그 우리는 전담 투자 보고서에서 자세히 논의했습니다..

필드 프로그래밍 가능 게이트 어레이(FPGA):

FPGA는 프로그래밍 가능한 프로세서로, 기존의 ASIC보다 훨씬 유연하고 재구성이 가능합니다. FPGA는 특정 AI 알고리즘에 맞게 맞춤 설정할 수 있어 더 높은 성능과 에너지 효율을 제공할 수 있습니다.

출처: 마이크로컨트롤러 랩

FPGA는 일반적으로 더 복잡하고 비싸며 전력 소모량이 더 많기 때문에 유연성은 떨어지지만, 일반적인 하드웨어보다 여전히 효율적일 수 있습니다.

이러한 특성으로 인해 FPGA는 틈새시장 제품으로 분류되며, 유연성이 단점을 상쇄합니다. 예를 들어, 머신 러닝, 컴퓨터 비전, 자연어 처리 분야에서 FPGA의 다재다능함이 큰 이점을 제공할 수 있습니다.

고대역폭 메모리(HBM):

맞춤형 AI 중심 하드웨어 분야에서 가장 중요한 발전은 컴퓨팅 성능 분야에서 이루어졌으며, 오랫동안 새로운 AI를 훈련하기 위한 컴퓨팅 용량을 늘리는 데 있어 핵심적인 역할을 했습니다.

하지만 이러한 시스템에는 고효율 지원 시스템도 필요하며, 그중에서도 메모리가 중요한 역할을 합니다. HBM은 이름에서 알 수 있듯이 기존 DRAM보다 더 높은 대역폭을 제공합니다.

여러 개의 DRAM 다이를 수직으로 적층하고 TSV(Through Silicon Via)로 연결하여 구현됩니다. 2013세대 HBM은 XNUMX년에 개발되었습니다.

수직 스태킹은 공간을 절약하고 데이터가 이동해야 하는 물리적 거리를 줄여 데이터 전송 속도를 높여주며, 이는 AI 컴퓨팅에 필수적입니다.

HBM은 DRAM보다 제조가 복잡하고 비용이 많이 들지만, 성능과 전력 효율성의 이점은 종종 AI 애플리케이션에 더 높은 비용을 정당화합니다.

AI 데이터 센터 인프라: 전력, 냉각 및 연결

메모리와 컴퓨팅 파워 외에도 AI 데이터 센터의 보조 시스템 또한 중요합니다. 보조 시스템이 없으면 데이터 순환 속도가 느려지고, 칩이 과열되거나, 사용 가능한 전력이 부족해질 수 있습니다.

예를 들어, Broadcom 연결 하드웨어도 AI 데이터 센터 구축으로 큰 이점을 얻을 수 있으며, Vertiv와 같은 냉각 장비 공급업체와 같은 특수 솔루션도 이점을 얻을 수 있습니다. (VRT ) 또는 슈나이더 일렉트릭(수파).

전력 공급도 문제가 될 수 있으며, 몇몇 기술 대기업은 핵 에너지에 투자하여 이 문제를 해결하려고 노력하고 있습니다. 2024년 마이크로소프트의 첫 번째 움직임으로그 이후로 많은 사람들이 그 뒤를 따랐습니다.

기술 회사의 AI 탄소 발자국 감소에 대한 약속과 결합하면 이는 핵 또는 재생 에너지 부문의 회사에 큰 이점이 될 것입니다. Cameco (CCJ ), GE 베르노바 (GEV ), 먼저 태양 광 (FSLR ), 다음 시대 (NEE )및 브룩필드 에너지 파트너스 (BEP ) (각 회사에 대한 보고서는 링크를 따라가시면 됩니다.)

새로운 AI 컴퓨팅 기술

퀀텀 컴퓨팅

AI가 컴퓨팅 성능에 크게 목말라 있기 때문에 해당 분야의 하드웨어의 미래가 현재 사용 가능한 실리콘 솔루션으로는 이루어지지 않을 수도 있습니다.

한 가지 가능성은 양자 컴퓨팅이 기존 컴퓨팅보다 훨씬 더 효율적으로 패턴을 감지하는 데 사용될 수 있다는 것입니다. 연구자들이 이미 탐구한 것.

양자 컴퓨팅은 이진 컴퓨팅으로는 거의 불가능한 특정 계산을 해결하는 데 사용될 수 있습니다. 이는 궁극적으로 AI에 적용될 가능성이 높지만, 최초의 상용 양자 컴퓨터는 아직 몇 년 남았고, 대규모 양자 네트워크는 훨씬 더 먼 미래에 나올 것입니다.

포토닉스

전자 대신 빛을 사용하여 데이터를 전달하는 광자공학은 전자 장치보다 훨씬 빠를 수 있습니다.

양자 컴퓨터는 일반적으로 얽힌 광자를 사용하여 양자 데이터를 전달하기 때문에 양자 컴퓨팅과 광자공학 사이에도 많은 중복이 있습니다. 최초의 듀얼 양자 광자 칩이 이미 발표되었습니다..

오가 노이드

대부분의 AI가 뇌의 신경망 기능을 컴퓨터로 복제하기 때문에, 일부 연구자들은 대신 실제 뇌 세포를 사용할 수 없을까 고민하고 있습니다.

이것은 특히 흥미로운 아이디어입니다. 일부 연구에 따르면 뇌는 실제로 유기 양자 컴퓨터일 수 있다고 합니다..

이러한 유형의 "컴퓨터"를 오가노이드라고 하며, 본질적으로 실험실의 컴퓨터 칩에서 배양된 뉴런으로 구성됩니다. 뉴런은 칩의 자극에 반응하여 수상돌기와 연결을 스스로 조직합니다.

이 기술은 아직 새롭고 다음에 의존합니다. 바이오 3D 프린팅.

기타

우리는 "실리콘 컴퓨팅에 대한 다른 대안을 탐색했습니다.비실리콘 컴퓨팅 상위 10개 기업”, 이산화바나듐, 그래핀, 산화환원 게이팅 또는 유기 물질 등.

각 기술은 기존의 실리콘 기반 컴퓨팅보다 훨씬 빠르거나 에너지 소모가 훨씬 적습니다. 그러나 아직 비교적 새로운 기술이며, 향후 5~10년 동안은 상업적 규모로 AI 분야에 혁명을 일으킬 가능성은 낮습니다.

클라우드 AI와 엣지 AI: 접근성 트렌드

클라우드 AI

가장 강력한 AI 시스템은 대형 기술 기업에서 개발하기 때문에 대부분 클라우드를 통해 접근할 수 있습니다. AI 전용 하드웨어 자체에 대한 접근도 마찬가지가 되고 있습니다.

이러한 추세의 선두주자는 코어위브 (CRCW )GPU를 이용한 암호화폐 채굴로 클라우드 공급업체에서 시작하여 오늘날에는 주문형 AI 컴퓨팅을 제공하는 회사로 전환했습니다.

이로써 CoreWeave는 기술 거대 기업과 경쟁하려는 신생 AI 스타트업의 핵심 파트너가 되었습니다. 굴절 AI 및 그 1.3억 달러 규모의 GPU 클러스터, 새로운 자금 조달 라운드로 자금이 조달되었습니다.

"500개월 전만 해도 회사가 존재하지 않았을 수도 있고, 지금은 XNUMX억 달러 규모의 벤처 캐피털 자금을 보유하고 있을 수도 있습니다.

그리고 그들에게 가장 중요한 것은 컴퓨팅에 대한 보안 액세스를 확보하는 것입니다. 보안을 확보하기 전까지는 제품을 출시하거나 사업을 시작할 수 없습니다.

Brian Venturo – CoreWeave CTO

AI 하드웨어 분야의 순수 플레이어들이 대형 기술 기업들이 자체 GPU, TPU, XPU 등을 생산하고 클라이언트에서 경쟁자로 진화하는 것을 경계하게 되면서, CoreWeave와 같은 기업들이 Nvidia 및 기타 기업들의 최신 하드웨어 릴리스에 우선적으로 액세스할 가능성이 높습니다.

이러한 비즈니스 모델은 이미 훈련된 AI를 사용하는 것보다 훨씬 더 많은 컴퓨팅 용량이 필요한 AI 훈련에 특히 중요할 가능성이 높습니다.

엣지 컴퓨팅 및 AI PC

빠르게 진화하고 있는 AI 컴퓨팅의 또 다른 사례는 실제 상황에 최대한 가깝게 현장에서 AI 시스템 컴퓨팅을 수행해야 할 필요성입니다.

연결이 끊어지거나 클라우드와의 왕복 대기 시간이 너무 느려서 AI와의 연결이 끊어지는 것을 허용하지 않는 시스템에는 이 기능이 필수적입니다.

그 좋은 예가 자율주행 자동차인데, 자율주행 자동차는 주변 환경을 오프라인으로 파악할 것으로 예상됩니다.

이런 유형의 계산을 엣지 컴퓨팅이라고 하며, 더 효율적이고 전력 소모가 적은 하드웨어를 사용하면 많은 이점을 얻을 수 있습니다.

이를 통해 AI의 신뢰성이 향상될 수 있으며, DeepSeek의 획기적인 발전에서 알 수 있듯이 모델의 효율성이 높아짐에 따라 미래에는 AI 배포에 더욱 널리 사용되는 모델이 될 수도 있습니다.

같은 이유로 AI PC 최근 엔비디아가 출시한 것과 같은장기적으로는 클라우드 AI에 항상 연결된 것에 비해 개인 정보 보호 및 보안을 강화하여 많은 AI 애플리케이션을 로컬에서 실행하기에 충분할 수도 있습니다.

맺음말

AI 하드웨어는 한동안 GPU와 거의 같은 의미로 사용되어 왔습니다. 그래픽 카드가 CPU와 같은 다른 하드웨어보다 AI 학습에 훨씬 더 효율적이었기 때문입니다. 이는 엔비디아와 초기 주주들에게 큰 부를 가져다주었습니다.

GPU, 특히 AI 중심의 "슈퍼 GPU"는 AI 데이터 센터 구축에 있어 앞으로도 중요한 역할을 할 것으로 예상됩니다. 하지만 GPU는 점점 더 복잡하고 전문화되는 시스템의 구성 요소 중 하나로만 발전할 것입니다.

변환기 작업은 TPU로 전송되고, 신경망은 NPP로 전송되고, 반복 작업은 전용 ASIC이나 재구성된 FPGA로 전송됩니다.

그 사이, 고대역폭 메모리, 첨단 통신 커넥터, 초고효율 냉각 기술 덕분에 컴퓨팅 코어 주변의 모든 보조 기능이 계속 작동하게 됩니다.

대규모 LLM보다 엣지 컴퓨팅과 소규모 AI의 경우, 일체형 XPU로 구동되는 로컬 컴퓨팅은 과학자, 자율 주행 자동차, 개인 정보 보호나 검열에 관심이 있는 사용자가 사용할 가능성이 높으며, 잠재적으로는 오픈 소스 AI 모델을 사용할 수도 있습니다.

확실한 것은 AI 골드러시에서 AI 하드웨어의 "곡괭이와 삽"을 판매하여 얻는 수익이 결코 끝나지 않았다는 것입니다.

엔비디아가 한동안 주도권을 쥐고 있던 상황에서 투자자들은 IA 하드웨어 포트폴리오를 다른 디자인으로 분산하고, 심지어는 전 세계적으로 규모가 크고 수가 늘어나는 AI 데이터 센터를 운영하는 데 필요한 귀중한 기가와트를 제공하는 전력 공급 회사에 투자함으로써 위험을 분산하고 싶어할 수도 있습니다.