인공지능
AI 하드웨어의 미래를 형성하는 신흥 기술
Securities.io를 Google의 선호 소스에 추가
새로운 유형의 컴퓨팅
최근 몇 년간 AI 기술이 기하급수적으로 발전하면서, 주요 승자는 AI 하드웨어를 구축하는 기업들이었습니다. 이는 현대 AI가 주로 신경망 기술을 사용하며, 고전 컴퓨터와는 매우 다른 방식으로 컴퓨팅 파워를 활용하기 때문입니다.
강력한 CPU로 복잡한 계산을 수행하는 대신, 수천 또는 수백만 개의 간단한 계산을 병렬로 수행합니다.
(신경망이 어떻게 발명되고 작동하는지에 대해 더 알아보려면 “노벨상 성과에 투자하기 – 인공 신경망, AI의 기반”)
지금까지 그래픽 카드, 즉 GPU(그래픽 처리 장치)가 AI 개발에 선호되는 도구였으며, 이는 Nvidia와 같은 업계 선두 기업들의 매출과 이익을 크게 끌어올렸습니다 (NVDA ).
AI 하드웨어 시장은 2025년부터 2035년까지 연평균 성장률 31.2%로 매우 빠르게 성장할 것으로 예상됩니다.
출처: Roots Analysis
이 시기에는 AI 계산을 위해 재활용된 GPU가 점차 이 용도에 특화된 칩으로 대체되면서, 다양한 새로운 유형의 AI 하드웨어가 등장할 것으로 보입니다.
장기적으로는 응용 분야에 특화된 설계부터 비실리콘 칩, 심지어 실제 생물학적 뉴런을 활용하는 등 보다 이색적인 컴퓨팅 형태가 AI 하드웨어 시장에 진입할 가능성이 높습니다.
AI 사고 방식 작동 원리
고전적인 슈퍼컴퓨터와 AI 사이의 근본적인 차이는 데이터 처리 방식에 있습니다. 복잡한 계산을 푸는 대신, 신경망은 네트워크에 연결된 가상 노드를 생성합니다. 초기 신경망은 겨우 수십 개의 노드와 수백 개의 연결만을 가졌지만, 현재 ChatGPT와 같은 현대 신경망은 수조 개의 가능한 연결을 사용하여 인간 뇌와 유사한 수준의 복잡성에 도달합니다.
출처: Nobel Prize
이러한 다른 계산 방식은 각각의 연산 능력은 비교적 작더라도, 수백만 개의 연산을 병렬로 수행할 수 있는 하드웨어가 필요합니다.
다행히도, 이는 GPU를 이용한 그래픽 렌더링처럼 수년간 사용되어 온 하드웨어 유형이며, 주로 3D 시뮬레이션 및 비디오 게임에 활용되어 왔으며, 다수의 작은 계산을 병렬로 수행합니다.
이 때문에 초기(그리고 현재) AI 칩 확보 경쟁의 승자는 GPU 시장의 선두주자인 Nvidia가 되어 왔습니다.
점점 더 빠른 GPU
보다 효율적인 알고리즘의 발명과 인공지능의 급속한 발전으로 AI의 잠재적 응용 분야는 2020년대에 폭발적으로 증가했습니다.
이로 인해 특히 2023년에 충분한 하드웨어, 특히 Nvidia GPU를 확보하기 위한 점점 커지는 경쟁이 촉발되었습니다.
동시에 AI 잠재적 응용에 대한 기대가 높아지면서 더 똑똑한 AI가 필요해졌고, 이는 더 많은 컴퓨팅 파워를 요구합니다. GPU를 더 많이 확보하는 것이 하나의 해결책이었지만, 더 나은 GPU도 필요했습니다.
산업은 8년 미만에 성능이 1,000배 성장함으로써 이를 실현했습니다.
출처: NVIDIA
지속 가능할까?
GPU 성능 향상이 곧 둔화될 수 있다는 징후가 있습니다. 먼저, GPU를 더 크게 만들고 트랜지스터를 더 작고 밀집하게 만드는 “쉬운” 개선이 한계에 다다르고 있습니다. 따라서 추가적인 향상은 보다 급진적인 재설계와 혁신에서 나와야 합니다.
두 번째 문제는 더 밀집되고 강력한 GPU가 많은 폐열을 발생시켜, 같은 수량을 더 늘리면 칩이 녹을 정도가 된다는 점입니다.
이 폐열은 많은 전력 낭비를 의미하기도 합니다. 안정적인 기본 전력 공급을 확보하는 것이 AI 기업들에게 점점 큰 문제가 되고 있습니다, 모든 대형 기술 기업들이 원자력 발전소로부터 공급을 확보하려고 서두르고 있습니다.
마지막으로, AI 컴퓨팅이 점점 더 특화되면서 각 기업과 각 응용 분야마다 서로 다른 하드웨어 요구사항이 생겨나고 있습니다. 따라서 모든 AI 기업이 사용하는 범용 GPU 시대는 서서히 끝나가고 있다고 볼 수 있습니다.
슈퍼 GPU 시대
지금까지 대부분의 AI 데이터 센터는 수천 개의 GPU를 연결한 전용 서버로 구성되었습니다.
과열 및 전력 소비 문제를 즉시 해결하기 위한 방안은 개별 GPU를 단순히 누적하는 것을 넘어서는 통합 하드웨어를 구축하는 것입니다.
그 방향으로의 주요 단계는 Nvidia가 최근 출시한 GB200 NVL72입니다. 이 하드웨어는 단일 거대한 GPU처럼 동작하도록 설계되어, 이전에 기록을 깨던 H100 모델보다 훨씬 강력합니다.
향상된 열 효율성과 전력 절감 덕분에 랙에 장착할 수 있는 GPU 수를 더 넉넉히 배치할 수 있게 되었으며, 이는 고객에게 더 많은 GPU를 제공한다는 의미입니다.
이는 AI 산업이 칩 부족보다 에너지 부족에 먼저 직면할 수 있는 상황에서 매우 중요한 점이며, 더 많은 컴퓨팅 및 에너지 효율성은 폐열을 줄여 과열 문제를 일시적으로 해결하는 데도 도움이 됩니다.
출처: Nvidia
현재 CoreWeave는 일반적으로 이용 가능한 Nvidia GB200 NLV72 인스턴스를 제공하는 최초의 클라우드 제공업체가 되었습니다.
(CoreWeave와 AI 솔루션을 개발하는 기업에 AI 클라우드 컴퓨팅을 제공하는 내용에 대해 더 알아보려면 “CoreWeave: The Cloud AI Hyperscaler (CRWV ) ”을 읽어보세요.)
GPU가 아닌 AI 하드웨어
필드 프로그래머블 게이트 어레이(FPGA)
AI 개발에 사용되는 또 다른 하드웨어 유형은 필드 프로그래머블 게이트 어레이(FPGA)입니다. FPGA는 특정 작업을 보다 효율적으로 수행하도록 재프로그래밍할 수 있는 집적 회로이며, 구성 가능한 상호 연결을 통해 작동합니다.
이로 인해 FPGA는 GPU보다 더 유연해질 수 있으며, 특정 유형의 계산에 대한 최적화 가능성이 높아집니다.
FPGA는 또한 GPU보다 전력 효율이 높습니다. 낮은 지연 시간(빠른 반응 시간) 덕분에 빠른 반응이 필요한 실생활 응용 분야에서도 매우 효율적입니다.
하지만 FPGA는 많은 전력이 필요한 매우 복잡한 계산을 처리하는 데는 제한적입니다.
또 다른 문제는 FPGA가 재프로그래밍 가능하지만, 설계·구축·프로그래밍에 시간과 인력이 많이 소요된다는 점입니다. 이는 6개월마다 혁신적인 진보가 일어나는 분야에서는 심각한 문제가 될 수 있습니다.
이는 지금까지 FPGA의 사용 사례가 AI의 특정 응용 분야에 집중되어 왔으며, 일반 개발은 여전히 덜 효율적이지만 범용 GPU에 의존하고 있음을 의미합니다:
- 실시간 처리: 디지털 신호 처리, 레이더 시스템, 자율 주행 차량, 통신 등과 같이 들어오는 데이터를 빠르게 처리해야 할 때.
- 맞춤형 하드웨어 가속: 구성 가능한 FPGA는 특정 딥러닝 작업 및 HPC 클러스터를 특정 데이터 유형이나 알고리즘에 최적화하여 가속할 수 있습니다.
- 따라서 현대 AI 데이터 센터는 점차 GPU와 FPGA를 혼합하여 각 하드웨어가 가장 잘 수행할 수 있는 하위 작업에 전념하게 될 것입니다.
- 엣지 컴퓨팅: 컴퓨팅 및 스토리지 기능을 최종 사용자에 가깝게 이동시키는 것으로, 예를 들어 자동차나 드론에 직접 탑재됩니다. 이러한 경우 FPGA의 낮은 전력 소비와 소형 크기가 장점이 됩니다.
응용 전용 집적 회로(ASIC)
ASIC 시스템은 특정 계산 유형을 위해 설계된 순수 집적 회로이며, 그 외의 작업은 수행하지 못합니다. 따라서 일반적인 컴퓨터 칩이라기보다 순수한 집적 회로에 가깝습니다. FPGA는 때때로 프로그래머블 ASIC이라고도 불립니다.
ASIC을 FPGA나 GPU 대신 사용하는 이유는 ASIC이 다른 논리 장치보다 훨씬 빠르고, 에너지 효율이 높으며, 크기가 작기 때문입니다.
예를 들어, ASIC 채굴기가 암호화폐 채굴에 사용되는 이유는 해당 작업에 최적화된 설계 덕분입니다.
출처: Wevolver
하지만 ASIC은 설계가 매우 복잡해 비용이 많이 들기 때문에, 설계 비용을 회수할 만큼 충분히 반복되는 작업에만 의미가 있습니다. 전체적으로 ASIC은 대량 생산을 전제로 할 때만 경제성이 있습니다.
맞춤형 설계는 전문가 지식이 필요하고, 널리 사용되는 프로그래밍 언어와 라이브러리를 사용할 수 없을 수도 있습니다.
맞춤형 설계가 필요하다는 점은 추가적인 지적 재산(IP) 보호라는 장점도 제공합니다.
ASIC의 사용 사례는 FPGA와 유사합니다: 엣지 컴퓨팅, 이미지 인식, 통신, 신호 처리 등, 하지만 FPGA보다 더 자주 반복되는 계산을 요구합니다.
유연성이 부족하기 때문에 복잡한 AI 작업을 단독으로 수행하기에는 충분하지 않을 가능성이 높습니다. 그러나 AI 하드웨어 시스템에 통합하면 효율성과 속도를 높일 수 있습니다.
특히 Etched와 같은 기업들은 트랜스포머 계산을 수행하도록 특별히 설계된 ASIC을 개발하고 있습니다 (chatGPT의 “T”).
출처: Etched
신경형 칩
GPU를 개선하거나 보다 효율적인 ASIC을 구축하는 것을 넘어, 컴퓨팅 수행 방식을 완전히 바꾸는 다른 개념들도 연구되고 있습니다.
한 가지 아이디어는 신경망을 설계한다면, 이를 반영하는 칩 아키텍처를 가져야 한다는 것입니다.
이것이 바로 신경형 칩의 개념으로, 복잡한 수학 방정식과 수백만 개의 병렬 계산을 통해 시뮬레이션하는 대신 하드웨어 수준에서 상호 연결된 뉴런처럼 작동합니다.
이러한 장치는 종종 NPUs (Neural Processing Unit)라고도 불리며, 여러 종류의 구성 요소를 하나의 유닛으로 결합합니다.
신경형 칩은 복잡한 전기 신호를 사용하며, 이는 아날로그 데이터에 가깝습니다. 이는 0과 1의 이진 신호를 사용하는 전통적인 폰 노이만 설계와 차별화됩니다.
출처: Tech Target
현재 신경형 칩을 만드는 방법으로 다음과 같은 여러 접근법이 탐구되고 있습니다:
- 초기 강유전성 활용, 아직 충분히 이해되지 않은 현상.
- 바나듐 또는 티타늄을 이용한 활성 기판.
- 멤리스터 사용, 새로운 전자 부품으로, 일반 전력 소비의 1/800에 AI 작업을 수행할 수 있습니다.
포토닉스 칩
실리콘 하드웨어의 현재 한계를 우회하는 또 다른 옵션은 포토닉스 컴퓨터로 전환하는 것입니다. 전자가 정보를 전달하는 대신 레이저에서 나온 광자가 정보를 전달합니다.
이 방법은 과열에 덜 취약하고, 빛이 우주에서 가장 빠른 이동체라는 장점을 가집니다.
현재 포토닉스 부품, 특히 메모리의 내구성이 문제였지만, 이 상황은 빠르게 변하고 있습니다.
최근 포토닉스 분야의 진전에는 다음이 포함됩니다:
- 강유전성 고전자 이동도 트랜지스터(FeHEMT), 스마트폰 통신 장치를 소형화합니다.
- 페로브스카이트, 정확히는 CsPbBr3(세슘-납-브롬화물) 결정, 포토닉스를 “일반” 실리콘 및 갈륨-비소 기판과 혼합합니다.
- 초고속 레이저 쓰기, 나노 에칭으로 포토닉스 부품을 설계합니다.
- 다층 실리콘 포토닉스 제조 방법.
- 자성을 이용한 스핀트로닉스-포토닉스 컴퓨터 제작.
실제 뉴런 활용
AI를 실제 뇌와 유사한 성능으로 끌어올리는 또 다른 방법은 바로 실제 뇌를 사용하는 것일지도 모릅니다.
실제 뉴런으로 구성된 신경망이 자연에서 높은 적응력과 패턴 인식 능력을 보인다면, 인공적인 환경에서도 동일하게 작동할 수 있지 않을까요?
2025년 3월, Cortical Labs는 CL1, 최초의 합성 생물학적 지능(SBI)을 발표하며 이 개념을 한 단계 진전시켰습니다.
출처: Cortical Labs
실제 뉴런은 영양이 풍부한 용액 안에서 배양되어 건강하게 성장하는 데 필요한 모든 것을 공급받습니다. 이들은 실리콘 칩 위를 성장하며, 전기 충동을 신경 구조에 주고받습니다.
이는 인공 지능과 자연 지능 사이의 경계를 실제로 흐리게 합니다. 실제 뉴런으로 만든 컴퓨터가 아직도 인공적인 것일까요?
우리는 하드 실리콘과 연조직을 혼합한 biOS에 뉴런을 통합합니다. 이를 통해 뉴런에 직접 연결할 수 있습니다. 코드를 실제 뉴런에 직접 배포하고 오늘날 가장 어려운 과제를 해결합니다.
뉴런은 스스로 프로그래밍되며, 무한히 유연하고, 40억 년의 진화 결과물입니다. 디지털 AI 모델이 모방하려고 막대한 자원을 소비하는 것을 우리는 시작부터 가지고 있습니다.
이것은 인간 두뇌를 전기 시스템보다 양자 컴퓨터에 더 가깝다고 보는 몇몇 이론이 사실로 입증된다면 진정한 돌파구가 될 수 있습니다.
아직은 신흥 기술이지만, 인체 장기 3D 프린팅과 기능성 뇌 조직 등 관련 분야의 진전으로 힘을 얻을 수 있으며, 오가노이드(미니 뇌) 생산을 Final Spark와 BiologIC 같은 기업이 진행하고 있습니다.
뇌-컴퓨터 인터페이스
AI 하드웨어를 강화하는 또 다른 방법은 이미 우리 두개골 안에 존재하고 사고를 담당하고 있는 생물학적 슈퍼컴퓨터, 즉 뇌와 직접 인터페이스하는 것입니다.
초기에는 뇌-컴퓨터 인터페이스(BCI)가 주로 신경계 질환을 겪는 사람들을 돕기 위해 사용될 가능성이 높습니다.
새로운 방법으로 임플란트를 더 내구성 있고 덜 침습적으로 만들 수 있게 되었습니다는 점도 도움이 될 것입니다.
장기적으로는 이것 역시 기계와 인간 지능 사이의 경계를 흐리게 만들 수 있습니다. AI의 도움을 받아 BCI를 통해 직접 생각한다면, 실제로 누가 생각하고 있는 걸까요?
하지만 윤리적·안전성 문제로 인해, 이는 Altered Carbon, Neuromancer, Cyberpunk 2077과 같은 SF 작품이 기대하는 만큼 가까운 기술은 아닐 가능성이 높습니다.
(우리는 “5 Best Brain-Computer Interfaces (BCI) Companies”에서 이 분야의 가장 눈에 띄는 기업들을 다루었습니다.)
실제로 필요한 컴퓨팅 양은?
DeepSeek
수년간 모든 AI 기업은 더 많은 컴퓨팅을 가능한 한 빨리 추가하는 것이 항상 더 좋다고 가정하며 경쟁해 왔습니다.
이는 중국 AI 기업 DeepSeek의 급격한 등장에 의해 도전받았습니다. 경쟁사보다 10~100배 더 효율적인 모델을 제공하고, 동등하거나 더 우수한 성능에 대해 단지 3%~5%의 비용만 들게 함으로써 DeepSeek은 더 많은 컴퓨팅 파워가 필요하다는 기존 인식을 뒤흔들었습니다.
DeepSeek이 모델 효율성에 집중한 큰 이유는 중국 AI 기업들이 AI 칩에 접근하기 어려웠기 때문입니다. 이는 Alibaba의 Qwen, Moonshot AI의 Kimi, ByteDance의 Doubao, Baidu의 Ernie Bot 등 다른 중국 기업들의 모델이 놀라울 정도로 뛰어난 성능을 보였을 때 명확히 드러났습니다.
속담에 “필요는 발명의 어머니”라고 있듯이, 앞으로 몇 년간 더 나은 성능과 더 높은 효율성을 동시에 추구하는 것이 AI 산업을 주도할 가능성이 높습니다.
하지만 이것이 더 많은 컴퓨팅이 더 나은 결과를 제공하지 못한다는 의미는 아닙니다. 단순히 이것이 AI 산업에서 성공하기 위한 유일한 경로는 아니며, OpenAI와 같은 충분히 자금이 풍부한 기업들은 지출에 다소 관대했을 수도 있습니다.
현재 대부분의 AI는 진행 중인 작업이며 제한된 응용 분야에만 적용되고 있습니다. 전 세계 수백만 기업의 워크플로에 AI가 더 많이 통합될수록 AI 컴퓨팅 수요는 증가할 것입니다.
컴퓨팅 수요가 늘어날수록 보다 효율적이고 에너지 소모가 적은 하드웨어에 대한 요구도 커집니다.
따라서 전통적인 컴퓨팅과 마찬가지로, AI가 곧 세계 최대 에너지 소비자 중 하나가 될 가능성이 높기 때문에 시장은 계속해서 더욱 개선된 칩을 요구할 것입니다.
EdgeAI 및 AI PC
DeepSeek과 같은 중국 모델이 적은 컴퓨팅 요구량으로도 동작할 수 있게 되면서, AI 모델, 특히 “증류”된 모델은 거대한 기가와트 규모의 데이터 센터가 아니라 고성능 개인용 머신에서도 실행될 수 있게 되었습니다.
이는 많은 AI 컴퓨팅이 클라우드가 아닌 “현장”에서 수행되어야 한다는 EdgeAI 옹호자들의 주장을 입증합니다.
DeepSeek이 오픈소스 모델이기 때문에, 강력하면서도 저렴하고 소형인 AI 컴퓨터를 개인이 구매해 실험할 수 있는 길도 열렸습니다. 이는 AI 컴퓨팅 수요가 감소하기보다는 AI 애플리케이션 개발 및 사용이 보다 분산되는 과정을 촉진할 것입니다.
따라서 AI PC는 PC 구축의 새로운 큰 트렌드가 될 가능성이 높으며, 전문 매체가 이미 어떤 브랜드가 가장 좋은지 상세히 논의하고 있습니다. 특히 AI가 대부분의 기술 기업 제품에 스며들면서 Microsoft (MSFT ), Copilot이 Windows OS와 기타 소프트웨어에 거의 전면적으로 적용되고 있습니다.
결론
게임용 GPU에서 시작해 AI용으로 설계된 GPU를 거쳐, 에너지 소비와 열 발생을 낮춘 “슈퍼 GPU”까지 AI 하드웨어는 빠르게 진화하고 있습니다.
다음 단계는 일반 GPU와 ASIC, FPGA 칩을 더욱 통합해 전력과 공간 요구량을 줄이면서 특정 AI 작업을 수행하는 것입니다.
앞으로는 신경형 칩, 포토닉스, 스핀트로닉스, 혹은 실리콘 기판과 상호 작용하도록 훈련된 실제 생물학적 뉴런, 그리고 직접 뇌와 인터페이스하는 AI 등 어느 기술이 AI 컴퓨팅의 승자가 될지에 대한 내기가 진행될 것입니다.
이 모든 기술에 대해 AI 용량과 응용 분야가 폭발적으로 성장함에 따라 더 많고 더 좋은 AI 하드웨어에 대한 수요는 계속 증가할 것입니다.
DeepSeek과 같은 보다 효율적인 AI 모델이 시장에 등장하더라도, AI PC에 대한 급증하는 수요는 향후 몇 년간 AI 하드웨어가 수요에 비해 다소 부족한 상황을 유지할 가능성을 보여주는 좋은 지표가 될 것입니다.
AI 하드웨어 분야의 선두주자
Nvidia
NVDA 가격 차트
NVIDIA는 그래픽 카드에 특화된 틈새 반도체 기업에서 AI 혁명의 최전선에 서 있는 기술 대기업으로, 방대한 하드웨어 수요를 충족시키고 있습니다.
이는 NVIDIA GPU용 범용 프로그래밍 인터페이스인 CUDA를 개발함으로써 달성되었으며, 이를 통해 게임 외의 다양한 용도로 활용할 수 있게 되었습니다.
“연구원들은 GeForce라는 게임용 카드를 구입해 컴퓨터에 추가하면 사실상 개인 슈퍼컴퓨터를 갖게 된다는 것을 깨달았습니다. 분자 역학, 지진 처리, CT 재구성, 이미지 처리 등 다양한 분야에 활용됩니다.” Jensen Huang, in an interview with Sequoia
GPU, 특히 NVIDIA 하드웨어의 폭넓은 채택은 네트워크 효과에 기반한 긍정적 피드백 루프를 만들었습니다: 사용이 늘어날수록 엔드 유저와 프로그래머가 늘고, 판매가 증가하며, R&D 예산이 늘고, 컴퓨팅 속도가 가속화되고, 다시 사용이 늘어나는 식입니다.
출처: Nvidia
오늘날 설치 기반에는 수억 대의 CUDA GPU가 포함되어 있습니다.
AI 컴퓨팅 파워의 진화는 CPU의 선형적인 무어의 법칙과 달리 지수 법칙을 따릅니다. 이는 GPU 하드웨어가 개선될 뿐만 아니라, 신경망 훈련 방식의 급진적인 개선으로 필요한 처리 능력이 감소했기 때문입니다.
GPU와 AI 분야의 선두주자인 NVIDIA는 양자 컴퓨팅을 새로운 성장 엔진으로 개발하는 데에도 매우 활발히 참여하고 있습니다.
신경망 응용을 위해 CUDA를 배포한 것과 유사하게, Nvidia는 양자 컴퓨팅용 CUDA-Q를 출시했으며, 클라우드 서비스를 통해 NVIDIA 양자 컴퓨팅 용량을 임대할 수 있는 양자 클라우드 시스템을 제공합니다.
출처: NVIDIA
이에는 연구자들이 양자 컴퓨터를 에뮬레이션할 수 있는 cuQuantum, 양자 암호화를 위한 cuPQC, 고전 및 양자 컴퓨팅을 통합한 DGX Quantum과 같은 기술도 포함됩니다.
출처: NVidia
전반적으로 NVIDIA는 AI와 AI 하드웨어 분야의 선두주자라는 입지를 활용해 양자 컴퓨팅 생태계 구축을 선도하고 있습니다.
AI, 암호화 채굴, 그리고 곧 양자 컴퓨팅 분야에서도 강력한 입지를 갖춘 Nvidia는 향후 10년 동안 주요 컴퓨팅 하드웨어 기업 중 하나가 될 충분한 위치에 있습니다.
Nvidia의 역사, 비즈니스 모델 및 혁신에 대해 더 알아보려면 “NVIDIA (NVDA) Spotlight: From Graphics Giant to AI Titan”을 읽어보세요.
NVIDIA 최신 소식
