AI와 효율성의 만남: 새로운 칩으로 LLM 전력 사용량 50% 감소

지속적인 인공지능(AI) 붐으로 인해 데이터 센터의 수요가 급증하고 있으며, 이로 인해 데이터 센터 내 서버를 운영하고 냉각하는 데 필요한 전력에 대한 수요가 엄청나게 늘고 있습니다.

전 세계적으로 8,000개가 넘는 데이터 센터가 있는데, 그 대부분은 미국에 있습니다. 하지만 앞으로 몇 년 안에 이 숫자는 상당히 늘어날 것입니다. 

보스턴 컨설팅 그룹의 추산에 따르면, 데이터 센터에 대한 수요는 15년까지 매년 20~2030%씩 증가할 것으로 예상됩니다. 이 시점에서 이 회사는 데이터 센터가 미국 전체 전력 소비량의 16%를 차지할 것으로 예상하는데, 이는 OpenAI가 ChatGPT를 출시한 2.5년 이전에는 불과 2022%에 불과했던 수치에서 크게 증가한 수치입니다.

한편, 특별 에너지 및 AI 보고서 국제에너지기구(IEA)가 올해 발표한 보고서에 따르면, 전 세계 데이터 센터의 전력 수요는 945년대 말까지 최소 두 배 이상 증가하여 약 XNUMXTWh에 이를 것으로 예상됩니다. 이는 현재 일본의 전력 소비량과 거의 맞먹는 수준입니다. 

파리에 본부를 둔 자율 정부 간 기구는 AI가 이러한 급증의 가장 큰 원인이라고 보고했으며, AI에 최적화된 데이터 센터의 전력 수요는 2030년까지 XNUMX배 이상 증가할 것으로 예상합니다.

특히 미국에서는 데이터 센터의 전력 소비가 현재부터 2030년까지 전력 수요 증가의 약 절반을 차지할 것으로 예상됩니다. 보고서에 따르면, AI 활용에 힘입어 미국 경제는 그 시점에 에너지 집약적 제품을 모두 생산하는 것보다 더 많은 전력을 데이터 처리에 소비하게 될 것입니다.

이러한 끝없는 에너지 고갈은 AI 발전과 도입에 큰 걸림돌이 됩니다. 하지만 긍정적인 측면은 AI의 전력 사용량을 줄이고 에너지 효율을 높이기 위해 노력하는 연구자와 기업이 점점 늘어나고 있다는 것입니다.

이러한 노력에서 흥미로운 점은 이들 중 다수가 AI를 활용해 에너지 문제를 해결한다는 것입니다.

이번 달에 연구팀은 AI를 사용하여 대규모 언어 모델(LLM)의 에너지 사용량을 50% 줄이는 새로운 칩을 시연했습니다. 이는 LLM을 비용 효율적으로, 그리고 보다 지속 가능하게 운영하는 데 있어 중요한 발전을 의미합니다.

새로운 칩, AI를 활용해 LLM의 에너지 소비량 감소

오리건 주립대학교 공과대학의 연구원들은 OpenAI의 GPT-4와 Google의 Gemini와 같은 LLM AI 애플리케이션의 엄청난 전력 소비 문제를 해결하기 위해 새로운 효율적인 AI 칩을 개발했습니다.

대규모 언어 모델(LLM)은 머신 러닝(ML) 모델의 한 유형으로, 텍스트 생성, 요약, 단순화, 텍스트 추론, 언어 번역 등과 같은 자연어 처리(NLP) 작업을 수행하기 위해 방대한 양의 데이터로 사전 학습됩니다.

오늘날 가장 인기 있고 널리 사용되는 챗봇으로는 OpenAI의 GPT-4o, o3, o1, Google의 Gemini와 Gemma, Meta의 Llama, DeepSeek의 R1과 V3, Anthropic의 Claude, Amazon의 Nova, Microsoft의 Phi, xAI의 Grok 등이 있습니다.

지난 몇 년 동안 LLM은 기계가 인간과 유사한 텍스트를 더욱 정확하게 이해하고 생성할 수 있도록 함으로써 AI 분야를 완전히 변화시켰습니다. 그러나 이러한 LLM의 발전은 LLM의 규모를 기하급수적으로 증가시키는 결과를 가져왔습니다.  

LLM의 크기는 매개변수 수로 측정되며, 이는 에너지 소비의 주요 요인입니다. 즉, 모델이 클수록 학습 및 추론에 필요한 연산 능력도 커집니다. 

예를 들어, ChatGPT-1은 매개변수가 약 120억 175천만 개였지만, GPT-3에서는 매개변수가 1.8억 개로 늘어났고, GPT-4에서는 매개변수가 약 XNUMX조 XNUMX억 개로 늘어났습니다.

LLM의 크기와 성능이 엄청나게 증가함에 따라 에너지 소비량 또한 전례 없는 수준으로 증가하고 있습니다. 모델 크기 외에도 LLM 학습에 사용되는 하드웨어 유형, 학습 과정의 지속 시간, 데이터 센터와 같은 인프라, 데이터 처리, 모델 최적화, 알고리즘 효율성 등의 요인이 LLM의 에너지 소비량에 영향을 미칩니다.

따라서 OSU 연구진이 개발한 새로운 칩이 있습니다. OSU 전기공학과 부교수이자 대학 내 혼합 신호 회로 및 시스템 연구실 책임자인 테하스비 아난드에 따르면,

문제는 단일 비트를 전송하는 데 필요한 에너지가 데이터 전송 속도 수요 증가 속도만큼 감소하지 않는다는 것입니다. 이것이 데이터 센터가 엄청난 전력을 소모하는 이유입니다.

이 문제를 극복하기 위해 연구팀은 기존 설계에 비해 에너지를 절반만 소모하는 새로운 칩을 설계하고 개발했습니다.

아난드와 박사과정생 라민 자바드는 지난달 보스턴에서 열린 IEEE 맞춤형 집적 회로(CIC) 컨퍼런스에서 이 신기술을 발표했습니다. 포럼, 패널 토론, 전시, 구두 발표 등이 진행되는 이 컨퍼런스는 IC 개발에 중점을 두고 있습니다. IC는 작고 효율적인 패키지에 기능과 처리 능력을 제공하여 현대 전자 시스템의 핵심 구성 요소 역할을 합니다.

이 최신 기술은 유비쿼터스 연결 센터(CUbiC), 반도체 연구 기업(SRC), 그리고 국방 고등 연구 계획국(DARPA)의 지원을 받아 개발되었습니다. 또한, 자바디는 이 학회에서 최우수 학생 논문상을 수상했습니다.

자바디에 따르면, 연구진은 새로운 칩을 개발할 때 실제로 AI 원리를 활용했으며, 이를 통해 신호 처리에 필요한 전기 사용량을 줄일 수 있었습니다.

그가 설명했듯이, LLM은 데이터 센터의 구리선 기반 통신 링크인 유선 연결을 통해 많은 양의 데이터를 주고받습니다. 이 전체 과정에는 상당한 에너지가 소모되므로, 잠재적인 "해결책 중 하나는 더 효율적인 유선 통신 칩을 개발하는 것"입니다.

자바디는 고속으로 전송될 경우 데이터가 수신기 끝부분에서 실제로 손상되기 때문에 정리가 필요하다고 덧붙였습니다. 이를 위해 기존 유선 통신 시스템의 대부분은 전력 소모가 많은 등화기를 사용합니다.

"우리는 칩 내부의 AI 원리를 활용해 칩 내부 분류기를 훈련시켜 오류를 인식하고 수정함으로써 더욱 스마트하고 효율적인 방식으로 데이터를 복구합니다."

– 자바디

큰 발전이지만, 이는 칩의 초기 버전일 뿐입니다. 현재 에너지 효율을 더욱 향상시키기 위한 다음 버전이 개발 중입니다.

전반적으로, 이 진행 중인 연구는 AI 인프라와 데이터 센터 운영의 미래에 지대한 영향을 미칠 수 있는 큰 잠재력을 보여줍니다. 하지만 이를 위해서는 이 기술을 대규모로 성공적으로 구현해야 하는데, 이는 결코 쉬운 일이 아닙니다.

AI가 마이크로칩 엔지니어링을 어떻게 뒤흔들고 있는지 알아보려면 여기를 클릭하세요.

계층 간 혁신을 통해 AI의 에너지 욕구를 길들이다

이 최신 칩 개발은 AI의 에너지 소비 문제를 해결하기 위한 수많은 연구 프로젝트 중 하나일 뿐입니다. 연구자들이 이 문제를 해결하기 위해 시도한 혁신적인 방법들을 간략히 살펴보겠습니다.

AI 에너지 효율을 위한 조명 활용 

올해 초 USST 과학자들은 개발¹ 먼지나 소금 알갱이보다 작은 미세한 AI 칩으로, 광섬유 케이블에서 나오는 데이터를 빛으로 처리합니다. 더 적은 에너지 소비로 더 빠른 계산을 가능하게 합니다.

이 칩은 기존 컴퓨터처럼 빛 신호를 해석하는 것이 아니라, 빛을 조작하여 즉시 계산을 수행합니다. 이를 위해 패턴화된 3D 프린팅된 부품들을 층층이 쌓아 만든 "전광 회절 심층 신경망(all-optical diffractive deep neuron network)" 기술을 사용합니다. 획기적인 기술이지만, 내시경 영상, 양자 컴퓨팅, 데이터 센터에서 "전례 없는 기능"을 구현하기 위해서는 특정 작업에 특화된 설계, 결함에 대한 민감성, 대량 생산의 어려움과 같은 과제들을 극복해야 합니다.

그보다 몇 달 전, MIT 과학자들은 빛을 사용하여 칩 상의 신경망의 주요 연산을 수행했고, 이를 통해 92%의 정확도와 엄청난 에너지 효율로 초고속 AI 계산(XNUMX나노초)이 가능해졌습니다.

"이 연구는 컴퓨팅(본질적으로 입력을 출력으로 매핑하는 것)이 근본적으로 다른 계산 법칙과 필요한 노력을 가능하게 하는 선형 및 비선형 물리학의 새로운 아키텍처로 컴파일될 수 있음을 보여줍니다."

– 수석 저자 Dirk Englund

과학자들 광자칩을 개발했다²는 광 신경망을 형성하는 상호 연결된 모듈로 구성됩니다. 특히, 상용 파운드리 공정을 사용하여 제작되므로 확장 가능하고 전자 장치에 통합될 수 있습니다. 또한, 과학자들은 전자 장치와 광학 장치를 결합한 비선형 광학 기능 유닛(NOFU)을 설계하여 광학의 비선형성 문제를 극복했습니다.

초저전력을 사용하여 실시간으로 학습하는 새로운 뇌 기반 AI에 대해 알아보려면 여기를 클릭하세요.

AI 학습을 위한 소프트웨어 도구 및 데이터 센터 냉각 시스템

한편, 미시간 대학 연구원들은 에너지 낭비를 목표로 삼았다 AI 학습 시점에, 더 구체적으로 말하면, 거대한 데이터 세트를 처리하는 데 필요한 GPU에 나누어질 때 불평등하게 생성됩니다. 

그래서 그들은 완료하는 데 가장 오랜 시간이 걸리는 하위 작업을 식별한 다음 이 '중요 경로'에 없는 프로세서의 속도를 줄여 모든 프로세서가 동시에 작업을 완료할 수 있도록 하고 불필요한 전력 사용을 제거하는 Perseus라는 소프트웨어 도구를 개발했습니다.

이 오픈소스 도구는 AI 에너지 소비를 측정하고 최적화하는 도구인 Zeus의 일부로 제공됩니다.

한편, 미주리 대학의 연구원들은 차세대 냉각 시스템 고안 데이터 센터의 에너지 효율을 높이기 위해 노력하고 있습니다. 또한 서버 랙 내에서 쉽게 연결하고 분리할 수 있는 냉각 시스템도 개발하고 있습니다.

냉각과 칩 제조는 서로 밀접하게 연관되어 있습니다. 적절한 냉각이 이루어지지 않으면 부품이 과열되어 고장이 발생합니다. 에너지 효율적인 데이터 센터는 AI 컴퓨팅의 미래에 핵심적인 역할을 할 것입니다.

- 미주리 공과대학 기계항공공학과 박찬우 교수

미국 에너지부(DOE)의 COOLERCHIPS 이니셔티브에서 1.5만 달러의 자금을 지원받아, 연구팀은 상변화를 통해 서버 칩의 열을 방출하는 XNUMX단계 냉각 시스템을 개발했습니다. 냉각 효율을 높이기 위해 필요할 때는 에너지를 전혀 사용하지 않고 수동 모드로 작동할 수 있을 뿐만 아니라, 능동 모드에서도 매우 적은 에너지를 사용합니다.

CRAM 하드웨어, AI 에너지 사용량 1000배 절감 가능

지난 여름, 미네소타 대학교 트윈 시티의 엔지니어들은 고급 하드웨어 장치를 개발했습니다³ 그러면 AI의 에너지 소비를 약 1,000배까지 줄일 수 있습니다.

이 새로운 모델은 CRAM(Computational Random-Access Memory)이라고 불리며, 여기서 데이터는 결코 메모리를 떠나지 않습니다. 오히려 메모리 배열 내에서 모든 데이터가 처리되므로 에너지 집약적이고 느린 데이터 전송이 필요 없습니다.

20년간 진행된 이 연구는 선임 저자인 지안핑 왕(Jian-Ping Wang)의 자기 터널 접합(MTJ) 소자에 대한 특허 연구를 기반으로 하는 연구팀의 노력의 일환입니다. 이러한 나노구조 소자는 센서, 하드 드라이브, 그리고 자기 랜덤 액세스 메모리(MRAM)와 같은 기타 마이크로 전자 시스템을 개선하는 데 사용됩니다.

"CRAM은 매우 에너지 효율적인 디지털 기반 인메모리 컴퓨팅 기판으로서 메모리 어레이의 어느 위치에서나 계산을 수행할 수 있다는 점에서 매우 유연합니다."라고 공동 저자이자 전기컴퓨터공학과 부교수인 울리아 카르푸즈쿠는 말했습니다. 또한, 다양한 알고리즘의 성능 요구에 가장 적합하도록 재구성할 수 있습니다.

뇌에서 영감을 받은 AI: 인간의 효율성을 모방하여 전력 사용량 감소

따라서 앞서 살펴본 바와 같이 연구자들은 AI의 에너지 문제를 해결하기 위해 AI의 다양한 측면을 연구하고 있습니다. 흥미롭게도, 그들은 영감을 얻기 위해 인간의 뇌에서도 눈을 돌리고 있습니다. 결국 AI는 기계가 인간의 지능 과정을 시뮬레이션하는 것이기 때문에 이는 당연한 일입니다. 인간의 사고와 추론과는 거리가 멀다 다양한 변형을 일반화하는 능력이 "인간의 인지보다 상당히 약하기 때문"입니다.

뇌에서 영감을 받은 에너지 절감 연구에는 시드니 대학교 AI 센터의 창 쉬 부교수의 연구가 포함됩니다. 그는 LLM이 단순한 과제일지라도 자원을 최대한 활용하는 것은 올바른 방법이 아니라고 지적했습니다. 그는 다음과 같이 설명했습니다.

건강한 인간의 뇌를 생각해 보세요. 모든 뉴런을 활성화하거나 모든 뇌 능력을 동시에 사용하지 않습니다. 약 20억 개의 뉴런을 가지고 있음에도 불구하고 100와트에 불과한 놀라운 에너지 효율로 작동하며, 뇌의 각 반구에서 선택적으로 뉴런을 활용하여 다양한 과제나 사고를 수행합니다. 

따라서 그들은 불필요한 중복 계산을 우회하고 자동으로 고속 기어로 들어가지 않는 알고리즘을 개발하고 있습니다.

다른 경우, 연구는 뇌의 신경 조절에서 영감을 얻어 '라는 알고리즘을 만들었습니다.보관 시스템' 정확도 저하 없이 에너지를 37% 절감하는 뇌세포의 자가수리 기능' 하드웨어 장치용 성상세포그리고 신경형(뇌에서 영감을 받은) 컴퓨팅 형태(메모리스터)를 얻었습니다. 협력 신경망의 여러 하위 그룹에서.

인공 지능에 대한 투자

글로벌 반도체 회사, AMD (AMD ) 고성능 컴퓨팅, 그래픽 및 시각화 기술로 유명합니다. AI의 대명사인 NVIDIA (NVDA )데이터 센터 및 AI 가속기 시장에서 빠르게 입지를 넓히고 있습니다. MI300 시리즈는 특히 차세대 AI 워크로드와 HPC 애플리케이션을 타깃으로 합니다.

데이터 센터 CPU 분야에서의 선도적 입지, 강력한 R&D 집중, 매출 성장, 고객 및 인수를 통해 AMD는 해당 부문의 강력한 주자로 자리매김했습니다.

고급 마이크로 장치 (AMD )

2022년 AMD는 자일링스(Xilinx)를 인수하여 50억 달러 규모의 칩 업계 최대 규모의 인수 계약을 체결하며 업계의 고성능 및 적응형 컴퓨팅 선두주자로 도약했습니다. 최근에는 500년 2028억 달러 규모의 데이터센터 AI 가속기 사업 진출을 위해 ZT Systems 인수를 완료했습니다.

AMD의 시장 실적 또한 관세 혼란으로 타격을 입었던 올해 회복세를 보이고 있습니다. 이 글을 쓰는 시점을 기준으로 AMD 주가는 120달러로, 연초 대비 6.9% 하락했지만 47년 2024월 최고치 대비 약 182.34% 하락했습니다. 이를 바탕으로 시가총액은 1.36억 82.44천만 달러이며, 주당순이익(EPS)은 XNUMX, 주가수익비율(P/E)은 XNUMX입니다.

AMD는 36년 7.4분기 매출이 전년 대비 1% 증가한 2025억 달러를 기록했다고 보고했습니다. 리사 수 CEO는 "역동적인 거시경제 및 규제 환경에도 불구하고" 이를 "훌륭한 한 해의 시작"이라고 평가했습니다. 그녀는 이러한 성장이 "데이터 센터 확장 및 AI 모멘텀" 덕분이라고 덧붙였습니다.

이 기간 동안 AMD의 영업이익은 806억 709만 달러, 순이익은 0.44억 2만 달러, 희석 주당순이익은 2025달러였습니다. 7.4년 XNUMX분기에는 약 XNUMX억 달러의 매출을 예상하고 있습니다. 

회사가 이룬 몇 가지 주요 개발에는 전략적 파트너십 확대가 포함됩니다. 주식회사 메타플랫폼 (META ) (야마), 알파벳 주식 회사 (GOOGL ) (아체), 오라클 (ORCL ), 코어42, Dell 기술 (DELL ), 그리고 다른 사람들. AMD는 Nokia와 함께 시스코 시스템즈 (CSCO ), Jio도 효율성, 보안 및 기능을 향상시키는 AI 기반 솔루션을 제공하는 새로운 Open Telecom AI 플랫폼을 발표했습니다.

이번 주에 AMD와 Nvidia는 사우디아라비아 공공투자펀드의 AI 중심 자회사인 Humain과 협력하여 500MW 규모로 예상되는 대규모 데이터 센터 프로젝트에 반도체를 공급하기로 했습니다.

실리콘이 아닌 컴퓨팅 기업 목록을 보려면 여기를 클릭하세요.

최신 Advanced Micro Devices(AMD) 동향 및 개발

맺음말

지난 몇 년 동안 AI 열풍은 폭발적으로 성장했는데, 그럴 만한 이유가 있습니다. 이 기술은 의료, 제조, 재료 과학부터 금융, 엔터테인먼트, 교육, 소매, 사이버 보안에 이르기까지 광범위한 산업을 혁신할 수 있는 엄청난 잠재력을 가지고 있기 때문입니다.

그러나 기술 발전, LLM의 채택 증가, 그리고 이후의 확장으로 인해 에너지에 대한 수요가 크게 증가했으며, 이는 온실 가스(GHG) 배출과 기후 변화에 영향을 미치고 경제적 비용을 증가시키며 기술의 지속 가능성에 영향을 미칩니다.

이는 AI에게 큰 과제입니다. 비용 절감, 생산성 향상, 그리고 대규모 의사결정 개선이라는 AI의 진정한 잠재력을 최대한 실현하려면, AI 모델은 비용 효율성과 지속가능성을 모두 갖춰야 합니다.

그러나 다행스러운 점은 전 세계 연구자들이 이미 AI를 에너지 효율적으로 만드는 데 열심히 노력하고 있다는 것입니다. 오리건 주립 대학의 AI 기반 칩에서 알 수 있듯이, 이는 혁신과 지속 가능성을 일치시킬 수 있는 강력한 가능성을 시사합니다.

물론, 제안된 기술들은 실제 세계에 미치는 영향을 달성하는 데 있어 가장 큰 장애물인 확장성을 극복해야 합니다. 그럼에도 불구하고 한 가지 분명한 것은, 더 친환경적인 AI의 미래가 실현 가능하며, 곧 다가올 것이라는 점입니다!

인공 지능 투자에 대한 모든 내용을 알아보려면 여기를 클릭하세요.

참고 연구:

1. Yu, H., Huang, Z., Lamon, S., Wu, J., Zhao, Z., Lin, D., Zhao, H., Zhang, J., Lu, C., Liu, H., Zhang, X., & Zhang, C. (2025). 원위면에 소형 회절 신경망을 이용한 다중모드 광섬유를 통한 전광 이미지 전송. Nature Photonics, 19, 486–493. https://doi.org/10.1038/s41566-025-01621-4
2. Bandyopadhyay, S., Sludds, A., Krastanov, S., Youssry, A., Zhang, L., Lian, C., Yu, S., Desiatov, B., Burek, MJ, Lukin, MD, & Lončar, M. (2024). 순방향 학습을 이용한 단일 칩 광자 심층 신경망. Nature Photonics, 18, 1335–1343. https://doi.org/10.1038/s41566-024-01567-z
3. Lv, Y., Zink, BR, Bloom, RP, Roy, A., Vaddi, K., Shang, L., & Manipatruni, S. (2024). 자기 터널 접합 기반 전산 랜덤 액세스 메모리의 실험적 시연. npj Unconventional Computing, 1, 3. https://doi.org/10.1038/s44335-024-00003-3