AI 하드웨어 투자: CPU에서 XPU까지

AI 하드웨어 투자: 곡괭이와 삽 접근법

AI는 지난 수십 년 동안 우리 경제, 생산 시스템, 사회에 가장 중요한 변화를 가져올 것으로 기대되며, 인터넷이 가져온 급진적인 변화조차도 비교하면 사소하게 만들 수 있습니다.

운전사, 번역가, 고객 지원, 웹 디자이너 등 전체 직업군이 사라질 수 있습니다. 프로그래머, 신입 변호사, 진단사 등 다른 직업도 수요가 급격히 감소할 수 있습니다.

또한 많은 다른 작업에 추가적인 가치와 생산성을 창출할 것이며, 주요 AI 소프트웨어 기업들이 이전에 상상할 수 없었던 시장 가치를 최초로 달성할 가능성이 높습니다.

이러한 이유로 자본 시장과 투자자들은 AI에 매료되어 AI 분야의 여러 기술 대기업의 진전과 알리바바와 같은 중국 기술 대기업 및 DeepSeek와 같은 스타트업이 제시하는 강력한 경쟁에 큰 관심을 기울이고 있습니다.

AI 붐에 참여하는 또 다른 방법은 모든 골드러시에서 통했던 전략을 따르는 것입니다: 금을 찾지 말고 곡괭이와 삽을 판매하라. 이는 AI 최적화 하드웨어를 판매하기에 가장 좋은 위치에 있던 기업들에게 확실히 효과가 있었으며, Nvidia (NVDA )는 게임용 그래픽 카드를 AI 학습 칩으로 전환하여 세계에서 가장 가치 있는 기업이 되었고, 놀라운 4조 달러 시가총액을 넘어섰습니다 (전체 Nvidia 보고서를 보려면 링크를 클릭하십시오).

AI는 매우 특수한 하드웨어를 필요로 하며, 이전의 다른 컴퓨팅 작업과 대부분 다르고, 거대한 비즈니스 기회이기 때문에 반도체 산업은 이제 AI 프로그램을 학습하고 실행하기 위해 특별히 설계된 새로운 형태의 하드웨어 개발 경쟁에 돌입했습니다.

while Nvidia is likely to stay one of the top companies in the sector, alternatives are now emerging and could provide interesting opportunities for investors who pay attention early.

왜 AI는 특수 하드웨어가 필요한가

많은 작은 계산들

Initial efforts in AI used the same computing capacity as other programs, focusing mostly on processors (Central Processing Unit – CPUs). CPUs are still important, but it quickly appeared that they are not optimal for most of the methods used currently to develop AIs.

신경망 및 유사한 방법들은 하나의 매우 복잡한 계산보다 상대적으로 단순한 계산을 많이 필요로 합니다. 따라서 많은 작은 칩이 병렬로 작동하는 것이 거대하고 강력한 CPU보다 일반적으로 더 좋습니다.

이것이 GPU가 빠르게 인기를 얻은 주요 이유이며, 그래픽 카드는 본질적으로 수천 개의 작은 계산을 병렬로 수행하도록 설계되었습니다.

오늘날 AI 학습은 주로 신경망을 기반으로 하며, 2024년 물리학 노벨상을 수상한 개념으로, 당시 별도의 기사에서 자세히 다루었습니다.

출처: Nobel Prize

AI 기술의 두 번째 혁신은 “transformers”에서 시작되었습니다. 이는 전통적인 신경망이 긴 데이터 시퀀스를 효율적으로 처리하지 못하는 문제, 즉 모든 자연어의 공통적인 특성을 해결합니다.

First introduced in 2017 by Google researchers, it is the root cause of the current explosion in AI capacity. Transformers are at the core of AI products like LLMs (Large Language Models), including ChatGPT.

다른 요구 사항

One important distinction in AI workflows is the difference between 미세 조정과 inference(추론) 사이의 차이이며, 두 경우 모두 서로 다른 하드웨어 요구 사항을 가집니다.

• 미세 조정은 도메인별 데이터로 모델을 학습시키는 것으로, 상당한 컴퓨팅 파워와 메모리를 필요로 합니다. 이는 매우 기술적인 작업이며, 종종 AI 과학의 최첨단에 해당합니다.
• 추론은 이미 학습된 모델을 사용해 출력을 생성하는 데 초점을 맞추며, 컴퓨팅 파워는 적게 요구하지만 저지연 및 비용 효율성에 더 중점을 둡니다.
  • 이는 기존 모델을 배포하여 실제 문제를 해결하는 AI 전문가들이 보다 일상적으로 수행합니다.

따라서 비용은 미세 조정/학습과 추론/AI 사용 모두에 명백히 중요한 요소이지만, 학습은 종종 가능한 최고의 하드웨어를 필요로 하고, 사용 작업은 최적의 하드웨어 옵션을 선택할 때 하드웨어 비용과 에너지 소비에 더 중점을 둡니다.

CPU와 GPU 비교

중앙 처리 장치 (CPU):

CPUs are general-purpose and not specifically AI hardware. They are, however, still essential for executing instructions and performing basic computations in AI systems.

AI 시스템 최종 사용자를 위한 인터페이스를 처리하는 대부분의 소프트웨어는 개별 컴퓨터든 클라우드 기반 소프트웨어든 CPU 중심입니다.

출처: AnandTech

CPU는 전용 하드웨어가 필요하지 않은 매우 간단한 AI에도 사용할 수 있습니다. 이는 출력이 급하지 않고 CPU의 상대적으로 느린 AI 처리 속도가 문제가 되지 않을 때 특히 그렇습니다.

따라서 데이터와 계산량이 적은 작은 모델은 CPU에서 잘 동작할 수 있습니다. 일반 컴퓨터에 CPU가 널리 퍼져 있기 때문에 AI 전용 하드웨어에 투자하고 싶지 않은 일반 사용자에게도 좋은 선택이 됩니다.

CPU는 매우 신뢰성과 안정성이 높아 오류가 허용되지 않는 중요한 작업에 적합합니다.

마지막으로, CPU는 데이터 로딩, 포맷팅, 필터링, 시각화와 같은 다른 하드웨어와 협업하여 AI 학습의 일부 작업에 유용합니다.

그래픽 처리 장치 (GPU):

Originally designed for graphics rendering, GPUs are designed for parallel processing, making them ideal for training AI models that require handling large datasets. Switching from CPUs to GPUs has reduced training times from weeks to hours.

GPU는 널리 보급되어 있고 IT 전문가들이 다루는 경험이 풍부하기 때문에 AI 연구를 확장하기 위해 연속적으로 설치된 최초의 컴퓨팅 하드웨어 유형이었습니다.

출처: Aorus

Also instrumental in GPUs’ success was the development of CUDA by Nvidia, a general-purpose programming interface for NVIDIA’s GPUs, opening the door for other uses than gaming. This was done because some researchers were already using GPUs to perform calculations instead of the usual supercomputers.

“연구자들은 GeForce라는 이 게임용 카드를 구입해 컴퓨터에 추가하면 사실상 개인 슈퍼컴퓨터를 갖게 된다는 것을 깨달았습니다.

분자 동역학, 지진 처리, CT 재구성, 이미지 처리 등 다양한 분야에 활용됩니다.

Jensen Huang, in an interview with Sequoia

Today, GPUs are still among the most sought-after types of AI hardware, with Nvidia barely managing to produce enough to satisfy the demand of tech giants building gigawatt-scale AI data centers.

또한 최근 Nvidia가 GB200 NVL72를 출시하면서 “슈퍼 GPU 시대”가 시작되었습니다.

이 하드웨어는 공장에서 바로 단일 거대한 GPU로 동작하도록 설계되었으며, 여러 작은 GPU를 네트워크로 연결할 필요가 없습니다. 이는 이전에 기록을 깨던 H100 모델보다 훨씬 강력합니다.

출처: Nvidia

This should also be a lot more energy efficient, a crucial point as the AI industry might fall short on energy before being short on chips at the speed at which AI data centers are being built. And more computing & energy efficiency mean less waste heat, which temporarily solves the overheating issue as well.

ASIC와 AI 하드웨어의 부상

Application-Specific Integrated Circuits (ASIC) 는 특정 컴퓨팅 작업을 위해 특별히 설계된 하드웨어로, 아직도 비교적 일반적인 GPU보다 더욱 특화되어 있습니다.

따라서 일반 목적 하드웨어보다 유연성과 프로그래밍 가능성이 낮습니다.

일반적으로 더 복잡하고, 생산 규모의 경제 부족과 맞춤 설계 비용 때문에 비용이 더 많이 듭니다.

하지만 해당 작업에 대해서는 훨씬 효율적이며, 적은 컴퓨팅 파워와 에너지 낭비로 더 빠르게 결과를 산출합니다.

ASIC 및 기타 AI 전용 하드웨어의 활용도가 증가하고 있으며, 일부 계산은 GPU보다 더 특수한 장비가 필요하다는 인식이 점차 확대되고 있습니다.

텐서 처리 장치 (TPU)

TPU는 Google에 의해 개발되었습니다 (GOOGL )는 텐서 계산(트랜스포머 기반 연산) 수행을 위해 특별히 설계되었습니다. 고처리량, 저정밀 연산에 최적화되어 있습니다.

출처: C#Corner

This gives TPUs high performance, efficiency, and scalability for the training of large neural networks.

TPU는 매트릭스 곱셈 유닛(MXU) 및 독점 인터커넥트 토폴로지와 같은 특수 기능을 가지고 있어 AI 학습 및 추론 가속에 이상적입니다.

TPU는 Gemini와 Google의 검색, 사진, 지도 등 AI 기반 애플리케이션을 구동하며, 10억 명 이상의 사용자를 지원합니다.

이로 인해 TPU는 대형 신경망 학습에 높은 성능, 효율성 및 확장성을 제공합니다.

엔드유저 작업 중 TPU에 가장 적합한 분야는 딥러닝, 음성 인식, 이미지 분류입니다.

신경망 프로세서 (NNP):

Also linked to Neural Processing Units (NPUs) and called neuromorphic chips, NPPs are specialized in neural network computation, designed to mimic the neural connections in the human brain. They are also sometimes called an AI accelerator, although this term is less well-defined.

An NPU will also integrate storage and computation through synaptic weights. So it can adjust or “learn” over time, leading to improved operational efficiency.

An NPU는 곱셈 및 덧셈, 활성화 함수, 2D 데이터 연산, 압축 해제 전용 모듈을 포함합니다.

특수화된 곱셈 및 덧셈 모듈은 행렬 곱셈 및 덧셈, 컨볼루션, 내적 및 기타 기능과 같은 신경망 애플리케이션 처리에 관련된 연산을 수행하는 데 사용됩니다.

이러한 특수화는 일반 하드웨어가 수천 번의 연산을 필요로 하는 작업을 NPU는 단 한 번의 연산으로 완료하도록 도와줍니다. 예를 들어, IBM은 NPU가 GPU에 비해 AI 계산 효율성을 급격히 향상시킬 수 있다고 주장합니다.

테스트 결과 일부 NPU는 동일한 전력 소비량에서 비교 가능한 GPU보다 100배 이상 뛰어난 성능을 보이는 것으로 나타났습니다.

이러한 에너지 효율성 때문에 NPUs는 제조업체가 사용자 기기에 설치하기에 인기가 있으며, 로컬에서 생성형 AI 앱 작업을 수행하는 “엣지 컴퓨팅”의 예시가 됩니다. (아래에서 해당 주제에 대해 더 살펴보세요).

Many methods are currently being explored in how to create neuromorphic chips:

• 잠재적 강유전성 활용, 아직 충분히 이해되지 않은 현상.
• 바나듐 또는 티타늄을 이용한 활성 기판.
• 멤리스터 사용, 새로운 유형의 전자 부품으로, 정상 전력 소비의 1/800에 AI 작업 수행^th.

보조 처리 장치 (XPUs)

XPU는 CPU(프로세서), GPU(그래픽 카드/병렬 프로세서), 메모리를 하나의 전자 장치에 통합합니다.

출처: Broadcom

XPUs는 모든 하드웨어를 자체 포함형 유닛으로 통합하는 개념의 다양한 변형을 포괄하는 포괄적인 용어이며, Data Processing Units (DPUs), Infrastructure Processing Units (IPUs), and Function Accelerator Cards (FACs)를 포함합니다.

XPUs는 AI 데이터 센터에서 하위 유닛 간 연결성 필요성이 증가함에 따라 발생하는 문제를 해결하는 것으로 보이며, 데이터 지연이 가용 컴퓨팅 파워보다 컴퓨팅 속도를 저하시키는 중요한 요인이 되고 있습니다.

본질적으로, 칩(GPU, TPU, NPP 등)은 실제 작업만큼 데이터 대기 상태에 있습니다.

This technology is a leader is Broadcom (AVGO ), which 우리는 전용 투자 보고서에서 자세히 다루었습니다.

필드 프로그래머블 게이트 어레이 (FPGA):

FPGAs are programmable processors, making them significantly more flexible and reconfigurable than the more rigid ASICs. FPGAs can be customized for specific AI algorithms, potentially offering higher performance and energy efficiency.

출처: Microcontrollers Labs

이러한 유연성은 비용이 수반되며, FPGA는 일반적으로 더 복잡하고 비싸며 전력 소비도 많습니다. 그러나 여전히 일반 하드웨어보다 효율적일 수 있습니다.

이 때문에 FPGA는 다소 틈새 제품이 되며, 유연성이 단점을 보완합니다. 예를 들어, 머신러닝, 컴퓨터 비전, 자연어 처리 등이 FPGA의 다재다능함에서 이점을 얻을 수 있습니다.

고대역폭 메모리 (HBM):

The most important developments in custom AI-centric hardware have been in the field of computing power, for a long time the chokepoint in building more computing capacity to train new AIs.

하지만 이러한 시스템에도 고효율 지원 시스템이 필요하며, 그 중 메모리가 중요한 역할을 합니다. HBM은 이름 그대로 전통적인 DRAM보다 높은 대역폭을 제공합니다.

이는 여러 DRAM 다이를 수직으로 적층하고 실리콘 관통(through-silicon vias, TSV)으로 연결함으로써 구현됩니다. HBM의 첫 번째 세대는 2013년에 개발되었습니다.

수직 적층은 공간을 절약하고 데이터가 이동해야 하는 물리적 거리를 줄여 데이터 전송 속도를 높이며, 이는 AI 컴퓨팅에 필수적입니다.

HBM은 제조가 더 복잡하고 DRAM보다 비용이 많이 들지만, 성능 및 전력 효율성 이점 때문에 AI 애플리케이션에서는 높은 비용을 정당화합니다.

AI 데이터 센터 인프라: 전력, 냉각 및 연결성

Besides the memory and computing power, the auxiliary systems of AI data centers are also important. Without them, the data cannot circulate fast enough, the chips would overheat, or the power available would be insufficient.

예를 들어 Broadcom 연결 하드웨어는 AI 데이터 센터 확장으로 큰 혜택을 받으며, Vertiv (VRT )나 Schneider Electric (SU.PA)와 같은 냉각 장비 공급업체와 같은 특수 솔루션도 마찬가지입니다.

전원 공급도 문제가 될 수 있으며, 여러 기술 대기업이 원자력 에너지에 베팅하여 문제를 해결하려 하고 있습니다. Microsoft가 2024년에 첫 번째 조치를 취한 이후 이후에도 많은 기업이 뒤따르고 있습니다.

기술 기업들의 AI 탄소 발자국 감소 약속과 결합되어, 이는 원자력 또는 재생 에너지 분야 기업들, 예를 들어 Cameco (CCJ ), GE Vernova (GEV ), First Solar (FSLR ), NextEra (NEE ), 혹은 Brookfield Energy Partners (BEP )에 크게 도움이 될 것입니다 (각 기업에 대한 보고서는 링크를 참고하십시오).

신흥 AI 컴퓨팅 기술

양자 컴퓨팅

Because AI is so hungry for computing power, it is possible that the future of the field’s hardware is not even with the currently available silicon solutions.

한 가지 가능성은 양자 컴퓨팅이 고전 컴퓨팅보다 훨씬 효율적으로 패턴을 감지하는 데 사용될 수 있다는 것으로, 이미 연구자들이 탐구한 바 있습니다.

양자 컴퓨팅 전체는 이진 컴퓨팅으로는 거의 불가능한 특정 계산을 해결하는 데 사용될 수 있습니다. 이는 궁극적으로 AI에 적용될 가능성이 높지만, 최초의 상용 양자 컴퓨터는 아직 몇 년 남았으며, 대규모 양자 네트워크는 그보다 더 멀리 있습니다.

포토닉스

Using light instead of electrons to carry data, photonics could be much quicker than electronic devices.

양자 컴퓨터는 일반적으로 얽힌 광자를 사용해 양자 데이터를 전달하기 때문에 양자 컴퓨팅과 포토닉스 사이에 많은 겹침이 있으며, 첫 번째 하이브리드 양자-포토닉 칩이 이미 발표되었습니다.

오르가노이드

As most AI replicates in computers the functioning of the brain’s neural networks, some researchers are wondering if we could not instead use … actual brain cells.

특히 일부 연구에 따르면 뇌가 실제로 유기 양자 컴퓨터일 수 있다는 점에서 흥미로운 아이디어입니다.

이러한 유형의 “컴퓨터”는 오르가노이드라고 불리며, 기본적으로 실험실에서 컴퓨터 칩 위에 배양된 뉴런으로 구성됩니다. 뉴런은 칩 자극에 반응해 자체적으로 수상돌기와 연결을 조직합니다.

이 기술은 아직 새롭고 생체 3D 프린팅에 의존합니다.

기타

We explored other alternatives to silicon computing in “Top 10 Non-Silicon Computing Companies”, such as vanadium dioxide, graphene, redox gating, or organic materials.

각각은 고전 실리콘 기반 컴퓨팅보다 훨씬 빠르거나 에너지 소모가 적을 것을 약속하지만, 아직 비교적 새롭고 향후 5~10년 동안 상업 규모에서 AI 분야를 혁신할 가능성은 낮습니다.

클라우드 AI와 엣지 AI: 접근성 트렌드

클라우드 AI

As the most powerful AI systems are made by large tech companies, they are mostly accessible through the cloud. The same is becoming true for access to AI-specialized hardware itself.

이 트렌드의 선두주자는 Coreweave (CRCW )이며, 클라우드 제공업체에서 GPU를 이용한 암호화폐 채굴로 전환한 뒤 현재는 주문형 AI 컴퓨팅을 제공하고 있습니다.

이는 CoreWeave가 기술 대기업과 경쟁하려는 신생 AI 스타트업들의 핵심 파트너가 되게 했으며, 예를 들어 Inflection AI and its $1.3B GPU cluster는 최근 투자 라운드로 자금을 확보했습니다.

“두 달 전만 해도 회사가 존재하지 않았을 수도 있지만, 이제는 5억 달러 규모의 벤처 자금을 확보했습니다.

그들에게 가장 중요한 일은 컴퓨팅 접근성을 확보하는 것이며, 이를 확보하기 전까지는 제품을 출시하거나 사업을 시작할 수 없습니다.”

Brian Venturo – CoreWeave CTO

AI 하드웨어 순수 플레이어가 대형 기술 기업이 자체 GPU, TPU, XPU 등을 생산하고 고객에서 경쟁자로 전환하는 것을 경계함에 따라, CoreWeave와 같은 기업이 Nvidia 및 기타 기업의 최신 하드웨어 출시를 우선적으로 접근할 가능성이 높습니다.

이 비즈니스 모델은 이미 학습된 AI를 사용하는 것보다 훨씬 더 많은 컴퓨팅 용량을 요구하는 AI 학습에 특히 중요할 것입니다.

엣지 컴퓨팅 & AI PC

Another case of AI computing that is quickly evolving is the need to have the computing of AI systems done on-site, as close as possible to real-life situations.

연결이 끊기면 AI에서 분리될 수 없거나 클라우드와의 왕복 지연 시간이 너무 느린 시스템에 필수적입니다.

좋은 예로는 자율 주행 차량이 있으며, 이들은 환경 인식을 오프라인으로 수행해야 합니다.

이러한 계산은 엣지 컴퓨팅이라고 하며, 보다 효율적이고 전력 소모가 적은 하드웨어에서 큰 혜택을 받습니다.

이는 AI 신뢰성을 높일 수 있으며, DeepSeek의 도약처럼 모델이 더욱 효율화됨에 따라 향후 AI 배포의 보다 일반적인 모델이 될 수 있습니다.

같은 이유로, AI PC 최근 Nvidia가 출시한 것처럼은 장기적으로 많은 AI 애플리케이션을 로컬에서 실행하기에 충분할 수 있으며, 항상 클라우드 AI에 연결된 경우보다 프라이버시와 보안을 향상시킵니다.

결론

AI 하드웨어는 한동안 GPU와 거의 동의어였으며, 그래픽 카드는 CPU와 같은 다른 하드웨어보다 AI 학습에 훨씬 효율적이었습니다. 이는 Nvidia와 초기 주주들의 부를 만들었습니다.

특히 AI 중심 “슈퍼 GPU”는 AI 데이터 센터 구축에 계속 중요한 역할을 할 것이지만, 점점 복잡하고 특수화된 시스템의 구성 요소 중 하나로 진화할 것입니다.

트랜스포머 연산은 TPU로, 신경망은 NPP에, 반복 작업은 전용 ASIC 또는 재구성된 FPGA에 할당될 것입니다.

한편, 고대역폭 메모리, 고급 통신 커넥터, 초고효율 냉각 시스템이 컴퓨팅 코어 주변의 모든 보조 기능을 지속적으로 운영할 것입니다.

대규모 LLM보다 작은 AI와 엣지 컴퓨팅의 경우, 올인원 XPU로 구동되는 로컬 컴퓨팅이 과학자, 자율 주행 차량, 프라이버시나 검열에 민감한 사용자 등에 의해 활용될 가능성이 높으며, 오픈소스 AI 모델과도 결합될 수 있습니다.

AI 골드러시에서 AI 하드웨어의 “곡괭이와 삽”을 판매함으로 얻는 수익은 아직 끝나지 않았다는 것이 확실합니다.

Nvidia가 장기간 지배한 이후, 투자자들은 위험을 분산하기 위해 AI 하드웨어 포트폴리오를 다른 설계로 확대하고, 전 세계적으로 점점 커지고 많은 AI 데이터 센터를 운영할 귀중한 기가와트를 제공할 전력 유틸리티 기업까지 포함할 수 있습니다.