AI와 효율성: 새로운 칩이 LLM 전력 사용량을 50% 절감

지속적인 인공지능(AI) 붐은 데이터 센터의 급증을 초래하고 있으며, 이는 내부 서버를 운영하고 냉각하기 위한 막대한 전력 수요를 촉발하고 있습니다.

전 세계에 8,000개가 넘는 데이터 센터가 존재하지만, 대부분은 미국에 있으며, 이 수치는 향후 몇 년간 크게 증가할 것입니다.

보스턴 컨설팅 그룹의 추정에 따르면, 데이터 센터에 대한 수요는 2030년까지 매년 15%에서 20%씩 증가할 것으로 보입니다. 현재 이 기업은 데이터 센터가 미국 전체 전력 소비의 16%를 차지할 것으로 예상하고 있으며, 이는 2022년 OpenAI의 ChatGPT 출시 이전에 불과 2.5%였던 것에 비해 크게 증가한 수치입니다.

한편, 국제 에너지 기구(IEA)가 올해 발표한 특별 에너지 및 AI 보고서에 따르면, 전 세계 데이터 센터의 전력 수요는 이번 십년 말까지 최소 2배인 약 945 TWh에 이를 것으로 예상됩니다. 이는 현재 일본이 소비하는 전력량과 거의 동일합니다.

파리 기반의 자율적인 정부간 조직은 AI가 이 급증의 가장 큰 원동력이라고 보고 있으며, AI 최적화 데이터 센터의 전력 수요는 2030년까지 4배 이상 증가할 것으로 예상됩니다.

특히 미국에서는 데이터 센터의 전력 소비가 현재부터 2030년까지 전력 수요 증가의 약 절반을 차지할 것으로 보입니다. AI 사용에 의해 촉진된 이 보고서에 따르면, 미국 경제는 그 시점에 데이터 처리에 필요한 전력이 에너지 집약적인 모든 제품을 제조하는 데 필요한 전력보다 더 많이 소비될 것입니다.

이러한 끝없는 에너지 욕구는 AI 발전과 채택에 큰 문제를 제기합니다. 그러나 긍정적인 점은 AI의 전력 사용량을 줄이고 에너지 효율성을 높이기 위해 노력하는 연구자와 기업이 늘어나고 있다는 것입니다.

흥미로운 점은 이러한 노력 중 다수가 AI 자체를 활용해 에너지 문제를 해결한다는 것입니다.

이번 달에 연구팀은 AI를 활용해 대형 언어 모델(LLM)의 에너지 발자국을 50% 줄이는 새로운 칩을 시연했으며, 이는 LLM을 비용 효율적이고 보다 지속 가능하게 운영할 수 있게 하는 중요한 발전을 의미합니다.

새로운 칩이 AI를 활용해 LLM의 에너지 소비를 감소시킵니다

오리건 주립대학 공대 연구진은 OpenAI의 GPT‑4와 Google의 Gemini와 같은 LLM AI 애플리케이션의 막대한 전력 소비 문제를 해결하기 위해 새로운 효율적인 AI 칩을 개발했습니다.

A type of machine learning (ML) model, a large language model (LLM) is pre‑trained on vast amounts of data to perform natural language processing (NLP) tasks like text generation, summarization, simplification, text reasoning, language translation, and more.

오늘날 가장 인기 있고 널리 사용되는 챗봇으로는 OpenAI의 GPT‑4o, o3, o1, Google의 Gemini와 Gemma, Meta의 Llama, DeepSeek의 R1 및 V3, Anthropic의 Claude, Amazon의 Nova, Microsoft의 Phi, 그리고 xAI의 Grok이 있습니다.

지난 몇 년간 LLM은 기계가 인간과 유사한 텍스트를 보다 정확하게 이해하고 생성하도록 함으로써 AI 분야를 완전히 혁신했습니다. 그러나 이러한 LLM의 진화는 그 규모가 기하급수적으로 증가하는 결과를 낳았습니다.

LLM의 크기는 파라미터 수로 측정되며, 이는 에너지 소비의 주요 요인입니다. 즉, 모델이 클수록 학습 및 추론에 필요한 계산 능력이 더 많이 요구됩니다.

예를 들어, ChatGPT‑1은 1억 2천만 개 미만의 파라미터를 가지고 있었으며, GPT‑3에서는 1,750억 개로 급증했고, GPT‑4에서는 약 1.8조 개에 달했습니다.

LLM의 규모와 성능이 급격히 증가함에 따라 에너지 소비도 전례 없는 수준으로 상승하고 있습니다. 모델 크기 외에도 LLM을 학습시키는 하드웨어 종류, 학습 기간, 인프라(예: 데이터 센터), 데이터 처리, 모델 최적화, 알고리즘 효율성 등도 LLM의 에너지 소비에 영향을 미칩니다.

이것이 OSU 연구진이 개발한 새로운 칩입니다. 오리건 주립대 전기공학 부교수이자 Mixed Signal Circuits and Systems Lab을 이끄는 Tejasvi Anand에 따르면:

“문제는 단일 비트를 전송하는 데 필요한 에너지가 데이터 전송률 요구가 증가하는 속도와 동일하게 감소하지 않고 있다는 점입니다. 이것이 데이터 센터가 많은 전력을 소비하게 만드는 원인입니다.”

이 문제를 해결하기 위해 팀은 기존 설계에 비해 절반의 에너지만 소비하는 새로운 칩을 설계·개발했습니다.

Anand와 박사 과정 학생 Ramin Javad는 지난 달 보스턴에서 열린 IEEE Custom Integrated Circuits (CIC) 컨퍼런스에서 이 새로운 기술을 발표했습니다. 포럼, 패널, 전시, 구두 발표 등을 개최하는 이 컨퍼런스는 기능과 처리 능력을 컴팩트하고 효율적인 패키지로 제공함으로써 현대 전자 시스템의 기본 블록인 IC 개발에 전념하고 있습니다.

이 최신 기술은 Center for Ubiquitous Connectivity(CUbiC), Semiconductor Research Corporation(SRC), 그리고 Defense Advanced Research Projects Agency(DARPA)의 지원으로 구축되었습니다. 또한 Javadi는 컨퍼런스에서 최우수 학생 논문상을 수상했습니다.

새로운 칩을 위해 연구진은 실제로 AI 원리를 활용했으며, Javadi는 이것이 신호 처리에 필요한 전력을 줄인다고 언급했습니다.

그는 설명하기를, LLM은 데이터 센터의 구리 기반 유선 연결을 통해 많은 데이터를 송수신하며, 이 전체 과정에 상당한 에너지가 필요하므로 “보다 효율적인 유선 통신 칩을 개발하는 것이 해결책이 될 수 있다”고 말했습니다.

Javadi는 또한 고속으로 전송될 경우 데이터가 수신기 끝에서 손상되어 정제가 필요하다고 덧붙였습니다. 이를 위해 기존 유선 통신 시스템 대부분은 많은 전력을 소비하는 이퀄라이저를 사용합니다.

“우리는 칩 위에서 AI 원리를 활용해 데이터 복구를 보다 스마트하고 효율적으로 수행합니다. 온칩 분류기를 학습시켜 오류를 인식하고 수정하도록 합니다.”

– Javadi

큰 발전이지만, 이는 칩의 초기 버전일 뿐이며, 다음 버전은 현재 에너지 효율성을 더욱 향상시키기 위해 개발 중입니다.

전반적으로, 이 지속적인 연구는 AI 인프라와 데이터 센터 운영의 미래에 광범위한 영향을 미칠 큰 잠재력을 보여줍니다. 그러나 물론, 이는 기술을 대규모로 성공적으로 구현해야 하며, 이는 결코 쉬운 일이 아닙니다.

AI가 마이크로칩 엔지니어링을 어떻게 뒤흔들고 있는지 알아보려면 여기를 클릭하세요.

다계층 혁신으로 AI의 에너지 욕구를 억제하기

이번 최신 칩 개발은 AI의 에너지 소비 문제를 해결하려는 많은 연구 프로젝트 중 하나에 불과합니다. 따라서 연구자들이 이를 해결한 혁신적인 방법들을 간략히 살펴보겠습니다.

AI 에너지 효율성을 위한 빛 활용 

올해 초, USST 과학자들은 개발한¹ 미세한 AI 칩을 선보였으며, 이는 먼지 한 알 또는 소금 알갱이보다 작고, 광섬유 케이블의 데이터를 빛으로 처리합니다. 이는 더 적은 에너지 소비로 더 빠른 연산을 가능하게 합니다.

이 칩은 전통적인 컴퓨터가 빛 신호를 해석하는 방식이 아니라 빛을 직접 조작해 즉시 계산을 수행합니다. 이를 위해 “전광학 회절 심층 신경망”을 사용하며, 이는 패턴화된 3D 프린팅 레이어를 겹쳐 구성합니다. 획기적이지만, 작업별 설계, 결함에 대한 민감성, 대규모 생산의 어려움 등과 같은 과제를 극복해야 내시경 영상, 양자 컴퓨팅, 데이터 센터에서 “전례 없는 기능”을 달성할 수 있습니다.

그 몇 달 전, MIT 과학자들도 빛을 이용해 칩 위에서 신경망의 핵심 연산을 수행했으며, 92% 정확도와 막대한 에너지 효율성을 갖춘 초고속 AI 연산(0.5 나노초)을 가능하게 했습니다.

“이 연구는 컴퓨팅, 즉 입력을 출력으로 매핑하는 본질이 선형 및 비선형 물리학의 새로운 아키텍처에 구현될 수 있음을 보여주며, 이는 계산과 필요한 노력 사이의 근본적으로 다른 스케일링 법칙을 가능하게 합니다.”

– 수석 저자 Dirk Englund

과학자들은 광학 칩을 개발했으며² 이 칩은 상호 연결된 모듈들로 구성된 광학 신경망을 형성합니다. 특히, 상업용 파운드리 공정을 사용해 제조함으로써 규모 확대와 전자기기에 통합이 가능하다는 점이 주목할 만합니다. 또한, 과학자들은 전자와 광학을 결합한 비선형 광학 기능 유닛(NOFU)을 설계해 광학 비선형성 문제를 극복했습니다.

초저전력으로 실시간 학습하는 새로운 뇌 영감 AI에 대해 알아보려면 여기를 클릭하세요.

AI 학습용 소프트웨어 도구 및 데이터 센터용 냉각 시스템

한편, 미시간 대학교 연구진은 AI 학습 시 발생하는 에너지 낭비에 초점을 맞추었으며, 특히 거대한 데이터셋을 처리하기 위해 필수적인 GPU 간에 불균형하게 전력이 분배될 때 발생하는 문제를 다루었습니다.

따라서 그들은 Perseus라는 소프트웨어 도구를 개발했으며, 이는 가장 오래 걸리는 하위 작업을 식별한 뒤 ‘핵심 경로’에 있지 않은 프로세서들의 속도를 낮춰 모든 프로세서가 동시에 작업을 완료하도록 함으로써 불필요한 전력 사용을 제거합니다.

이 오픈소스 도구는 AI 에너지 소비를 측정하고 최적화하는 도구인 Zeus의 일부로 제공됩니다.

한편, 미주리 대학교 연구진은 차세대 냉각 시스템을 고안하여 데이터 센터의 에너지 효율성을 높이고자 했으며, 서버 랙 내에서 손쉽게 연결·분리할 수 있는 냉각 시스템도 제작하고 있습니다.

“냉각과 칩 제조는 서로 밀접하게 연관되어 있습니다. 적절한 냉각 없이는 부품이 과열되어 고장납니다. 에너지 효율적인 데이터 센터는 AI 컴퓨팅의 미래에 핵심이 될 것입니다.”

– 미주리 대학교 공대 기계·항공공학 교수 Chanwoo Park

DOE의 COOLERCHIPS 이니셔티브에서 150만 달러의 자금을 지원받아 팀은 서버 칩의 열을 상변화를 통해 방출하는 2단계 냉각 시스템을 개발했습니다. 이 시스템은 적은 냉각이 필요할 때 에너지를 전혀 사용하지 않고 수동으로 작동할 수 있을 뿐만 아니라, 활성 모드에서도 매우 적은 에너지만을 사용합니다.

CRAM 하드웨어가 AI 에너지 사용을 1000배 줄일 수 있다

지난 여름, 미네소타 대학교 트윈 시티스 캠퍼스의 엔지니어들은 첨단 하드웨어 장치를 개발했으며³ 이는 AI의 에너지 소비를 약 1,000배 줄일 수 있습니다.

이 새로운 모델은 컴퓨팅 랜덤 액세스 메모리(CRAM)라고 불리며, 데이터가 메모리를 떠나지 않고 메모리 배열 내에서 완전히 처리되어 에너지 집약적이고 느린 데이터 전송이 필요 없게 됩니다.

20년에 걸친 연구 결과로, 이 연구는 팀이 선임 저자 Jian‑Ping Wang의 특허받은 자기 터널 접합(MTJ) 장치 연구를 기반으로 진행한 것입니다. 이러한 나노구조 장치는 센서, 하드 드라이브 및 Magnetic Random Access Memory(MRAM)와 같은 마이크로 전자 시스템을 개선하는 데 사용됩니다.

“극도로 에너지 효율적인 디지털 인‑메모리 컴퓨팅 기반인 CRAM은 메모리 배열의 어느 위치에서든 연산을 수행할 수 있어 매우 유연합니다.”라고 전기·컴퓨터공학부 부교수이자 공동 저자인 Ulya Karpuzcu가 언급했습니다. 또한, 다양한 알고리즘의 성능 요구에 맞게 재구성할 수 있습니다.

뇌 영감 AI: 인간 효율성을 모방해 전력 사용량 감소

보시다시피, 연구자들은 AI의 에너지 문제를 해결하기 위해 다양한 측면을 탐구하고 있습니다. 흥미롭게도, 그들은 인간 뇌에서도 영감을 얻고 있습니다. 이는 AI가 기계에 의해 인간 지능 과정을 시뮬레이션하는 것이지만, 인간의 사고와 추론에 훨씬 못 미치며 변형에 대한 일반화 능력이 “인간 인지보다 현저히 약하다”는 점에서 그렇습니다.

뇌 영감 에너지 감소 연구에는 시드니 AI 센터의 Chang Xu 부교수의 연구가 포함되며, 그는 간단한 작업에도 LLM이 자원을 최대 용량으로 활용하는 것이 올바른 방법이 아니라고 지적했습니다. 그는 다음과 같이 설명했습니다:

“건강한 인간 뇌를 생각해 보면, 모든 뉴런이 동시에 발화하거나 뇌 전체 전력을 한 번에 사용하는 것이 아닙니다. 약 1,000억 개의 뉴런을 가지고 있음에도 불구하고 20와트의 전력만으로 놀라운 에너지 효율을 발휘하며, 뇌의 서로 다른 반구에서 선택적으로 사용해 다양한 작업이나 사고를 수행합니다.”

따라서 그들은 불필요한 중복 연산을 우회하고 자동으로 고속 모드에 진입하지 않는 알고리즘을 개발하고 있습니다.

다른 경우에는 뇌의 신경조절에서 영감을 받아 ‘스태싱 시스템’이라는 알고리즘을 만들어 정확도 저하 없이 에너지를 37% 절감했으며, 뇌 세포의 자체 복구 기능인 하드웨어 장치를 위한 별아교세포(astrocytes)를 활용하고, 신경형(뇌 영감) 컴퓨팅 형태인 멤리스터가 여러 신경망 하위 그룹에서 함께 작동하도록 했습니다.

인공지능에 투자하기

AMD (AMD )는 고성능 컴퓨팅, 그래픽 및 시각화 기술로 알려져 있습니다. AI 분야의 대표 기업인 NVIDIA (NVDA )와 직접 경쟁하면서도 데이터 센터 및 AI 가속기 시장에서 빠르게 입지를 넓히고 있습니다. 특히 MI300 시리즈는 생성 AI 워크로드와 HPC 애플리케이션을 목표로 합니다.

데이터 센터 CPU 분야에서의 선도적인 존재감, 강력한 연구개발 집중, 매출 성장, 고객 기반 및 인수합병은 AMD를 이 분야의 강력한 플레이어로 만들고 있습니다.

Advanced Micro Devices (AMD )

2022년에 AMD는 Xilinx 인수를 통해 500억 달러 규모의 기록적인 반도체 거래를 체결하여 고성능 및 적응형 컴퓨팅 분야의 선두주자가 되었습니다. 그리고 최근에는 ZT Systems를 인수해 2028년까지 5천억 달러 규모의 데이터 센터 AI 가속기 시장 기회를 겨냥했습니다.

AMD는 관세 변동으로 타격을 받았지만 올해는 회복세를 보이고 있습니다. 현재 AMD 주가는 $120에 거래되고 있으며 연초 대비 6.9% 하락했지만 2024년 3월 최고가 대비 약 47% 수준입니다. 이에 따라 시가총액은 $182.34억이며, EPS(TTM)는 1.36, P/E(TTM)는 82.44입니다.

회사 재무 상황에 대해, AMD는 2025년 1분기에 매출이 전년 대비 36% 증가한 74억 달러를 기록했으며, CEO인 Lisa Su 박사는 이를 “올해의 뛰어난 시작”이라며 “역동적인 거시 및 규제 환경에도 불구하고”라고 평가했습니다. 그녀는 이 성장의 원동력이 “데이터 센터와 AI 모멘텀 확대”라고 덧붙였습니다.

이 기간 동안 AMD의 영업이익은 8억 600만 달러, 순이익은 7억 900만 달러, 희석 주당 순이익은 $0.44였습니다. 2025년 2분기 매출은 약 74억 달러로 예상됩니다.

회사가 이룬 주요 발전 중에는 Meta Platforms, Inc. (META )(Llama), Alphabet Inc. (GOOG ) (GOOGL )(Gemma), Oracle Corporation (ORCL ), Core42, Dell Technologies (DELL ) 등과의 전략적 파트너십 확대가 포함됩니다. 또한 AMD는 Nokia, Cisco Systems, Inc. (CSCO ), 그리고 Jio와 함께 효율성, 보안 및 기능을 강화하는 AI 기반 솔루션을 제공하는 새로운 Open Telecom AI Platform을 발표했습니다.

이번 주에 AMD와 Nvidia는 사우디아라비아 공공 투자 기금의 AI 전담 자회사인 Humain과 협력해 500MW 규모의 대형 데이터 센터 프로젝트에 공급할 반도체를 제공하기로 했습니다.

비실리콘 컴퓨팅 기업 상위 목록을 보려면 여기를 클릭하세요.

최신 Advanced Micro Devices (AMD) 동향 및 개발

결론

지난 몇 년간 AI 열풍은 폭발적인 성장을 보였으며, 그 이유는 충분합니다. 이 기술은 의료, 제조, 재료 과학부터 금융, 엔터테인먼트, 교육, 소매, 사이버 보안에 이르기까지 다양한 산업을 변혁시킬 큰 잠재력을 가지고 있습니다.

하지만 기술 발전과 채택 확대, 그리고 LLM의 확장은 막대한 에너지 수요를 초래했으며, 이는 온실가스 배출 및 기후 변화에 기여하고, 경제적 비용을 증가시키며, 기술의 지속 가능성에 영향을 미칩니다.

이는 AI에 대한 큰 도전 과제입니다. 비용 절감, 생산성 향상, 대규모 의사결정 개선이라는 진정한 잠재력을 완전히 실현하려면 모델이 비용 효율성과 지속 가능성을 달성해야 합니다.

하지만 좋은 점은 전 세계 연구자들이 이미 AI를 에너지 효율적으로 만들기 위해 열심히 작업하고 있다는 것입니다. 오리건 주립대의 AI 기반 칩이 그 증거이며, 이는 혁신과 지속 가능성을 맞추는 강력한 가능성을 시사합니다.

물론, 제안된 기술들은 실제 영향과 확장성을 달성하는 데 가장 큰 장애물을 극복해야 합니다. 그러나 한 가지는 분명합니다: 더 친환경적인 AI 미래는 실현 가능하며, 곧 다가올 것입니다!

인공지능 투자에 대해 모두 알아보려면 여기를 클릭하세요.

참고 연구:

1. Yu, H., Huang, Z., Lamon, S., Wu, J., Zhao, Z., Lin, D., Zhao, H., Zhang, J., Lu, C., Liu, H., Zhang, X., & Zhang, C. (2025). 다중모드 광섬유를 이용한 소형 회절 신경망을 통한 전면면 전광학 이미지 전송. Nature Photonics, 19, 486–493. https://doi.org/10.1038/s41566-025-01621-4
2. Bandyopadhyay, S., Sludds, A., Krastanov, S., Youssry, A., Zhang, L., Lian, C., Yu, S., Desiatov, B., Burek, M. J., Lukin, M. D., & Lončar, M. (2024). 전방 전용 학습을 갖춘 단일 칩 광학 심층 신경망. Nature Photonics, 18, 1335–1343. https://doi.org/10.1038/s41566-024-01567-z
3. Lv, Y., Zink, B. R., Bloom, R. P., Roy, A., Vaddi, K., Shang, L., & Manipatruni, S. (2024). 자기 터널 접합 기반 컴퓨팅 랜덤 액세스 메모리의 실험적 시연. npj Unconventional Computing, 1, 3. https://doi.org/10.1038/s44335-024-00003-3