피드백 루프가 LLM이 광우병과 유사한 ‘모델 붕괴’를 겪게 할 수 있다

생성 인공지능 세계에 흥미로운 문제가 등장했습니다. 이 문제는 너무 강력하고 복잡해서 생성 AI의 범위를 위협할 수 있습니다. 이 문제를 더 깊이 이해하기 전에, AI 상승 곡선에서 예상되는 장애물이 왜그렇게 중요한지 살펴보겠습니다. 

AI가 세상을 더 효율적으로 만들 것으로 기대되는 이유

지난 몇 년 동안, 생성 AI가 제공한 혜택은 전 세계적으로 채택을 크게 늘렸습니다. Fortune 500 기업의 92%가 생성 AI를 도입했으며, GenZ의 70%가 이러한 도구들을 사용해 보았습니다.

생성 AI의 적용 범위는 매우 넓어 미국 직업의 거의 90%가영향을 받을 수 있으며, 2025년까지 고객 상호작용의 95%가 이를 포함할 수 있습니다. 현재 시장 규모는 약 US$45 billion에 이르지만, AI는 더욱 커져 내년에는 최대 9700만 개의 일자리를 창출할 수 있습니다. 

AI의 잠재력은 독보적이었습니다, 말할 것도 없이. 소프트웨어 개발자 200만 명 이상이 OpenAI API를 기반으로 개발하고 있으며, 이들 대부분은 최고의 자원을 활용할 수 있었던 Fortune 500 기업 출신입니다. 그럼에도 불구하고 그들은 API 개발을 선택했습니다.

생성 AI의 잠재력에 대한 이러한 긍정적인 인식은 Deloitte가 실시한 설문조사에서도 나타났으며, 설문에 따르면 94%의 비즈니스 임원들이 AI가 미래 성공의 핵심이라고 믿고 있습니다.

이러한 데이터와 사실들을 보면 전 세계 많은 사람들이 미래 성장의 동력으로 생성 AI를 기대하고 있음을 알 수 있습니다. 그러나 AI 성장 잠재력을 위협할 수 있는 문제가 발생했습니다: 피드백 루프. 다음 섹션에서는 이 문제를 더 자세히 살펴보고 가능한 모든 파급 효과와 함의를 검토하겠습니다.

피드백 루프란 무엇인가

가장 기본적인 형태에서 피드백 루프는 나쁘거나 해로운 것이 아닙니다. 이는 AI 시스템의 출력과 최종 사용자 행동을 활용해 모델을 재학습하고 개선하는 과정입니다. 

그 특성상 이를 폐쇄 루프라고 부르며, 이 과정을 폐쇄 루프 학습이라고 합니다. 여기서는 AI가 생성한 출력과 최종 결정 사이를 지속적으로 비교하여 모델에 피드백을 제공함으로써 모델이 실수로부터 학습할 수 있게 합니다. 

하지만 합성 데이터를 활용할 때 이러한 피드백 루프 학습에 문제가 발생합니다. 생성 AI 모델을 훈련하려면 방대한 양의 데이터가 필요하지만, 데이터 공급이 제한적이고 부족하여 모델이 훈련 자원을 완전히 고갈시킬 수 있습니다. 

이 때문에 대기업들은 미래 세대 AI 모델을 훈련하기 위해 합성 데이터를 활용하려 합니다. 그러나 합성 데이터에도 장점과 단점이 존재합니다. 

합성 데이터의 장점과 단점

합성 또는 AI가 생성한 데이터는 많은 장점을 가지고 있습니다. 예를 들어, 실제 데이터보다 비용이 저렴하고, 무엇보다도 이러한 데이터의 공급은 무한합니다.

데이터가 합성되었기 때문에 실제 개인으로부터 나온 것이 아니며 프라이버시 위험이 거의 없습니다. 반면, 실제 데이터, 특히 의료 기술 및 헬스케어 분야에서 사용되는 데이터는 프라이버시 침해 위험이 있습니다. 또한 합성 데이터를 사용함으로써 AI 성능이 향상된 사례도 있습니다. 

하지만 반대로, 너무 많은 합성 데이터를 공급받은 AI 모델은 기능과 잠재력이 제한되어 생성 AI 모델의 향후 반복에 부정적인 영향을 미칠 수 있습니다. 이러한 위험에 대한 예상은 근거가 없지 않으며, 최근 Rice University 디지털 신호 처리 그룹이 수행한 연구가 이를 입증하고 있습니다. 

Rice 대학 전기·컴퓨터 공학부 C. Sidney Burrus 교수인 Richard Baraniuk에 따르면:

“이러한 합성 데이터 훈련이 반복될 때 문제가 발생하며, 이는 일종의 피드백 루프—우리가 자가포식 또는 ‘자기소비’ 루프라고 부르는—를 형성합니다.”

합성 데이터 유발 피드백 루프의 도전 과제

이제 문제의 전체적인 본질을 이해하려면 피드백 루프와 합성 데이터를 함께 살펴봐야 합니다. Baraniuk 교수는 문제를 다음과 같이 요약했습니다. “우리 그룹은 이러한 피드백 루프에 대해 광범위하게 연구해 왔으며, 안타까운 소식은 몇 세대의 훈련 후에도 새로운 모델이 회복 불가능하게 손상될 수 있다는 것입니다. 이는 일부에서 ‘모델 붕괴’라고 부르며, 최근에는 대형 언어 모델(LLM) 분야의 동료들이 이 용어를 사용했습니다. 그러나 우리는 이 현상을 광우병에 비유하여 ‘모델 자가포식 장애'(MAD)라는 용어가 더 적절하다고 생각합니다.”

이 비교의 관련성을 설명하자면, 광우병은 소에게 치명적인 신경퇴행성 질환이며, 감염된 고기를 섭취함으로써 인간에게도 유사한 질환이 발생합니다. 이는 생성 AI 모델이 직면한 피드백 루프 문제와 비교됩니다. 이 질병은 도살된 동료들의 남은 고기를 소에게 먹이는 관행을 통해 퍼지며, 남은 데이터나 프로세스 자체에서 나오는 부산물을 ‘감염’으로 보아 미래 생성 AI 모델을 지속적으로 오염시킵니다.

이 문제를 다룬 연구는 ‘Self-Consuming Generative Models Go MAD’라는 제목을 가지고 있습니다. 이 연구의 또 다른 중요한 점은 AI 자가포식에 관한 최초의 동료 검토 논문으로, DALL-E, Midjourney, Stable Diffusion과 같은 유명한 비주얼 AI 모델을 다루었다는 것입니다. Baraniuk 교수가 지적했듯이, “동일한 광우병 부패 문제가 LLM에도 발생한다”고 말했습니다.

이제 문제와 이를 촉진하는 요인을 살펴보았으니, 그 영향과 생성 AI 모델의 미래 개발에 어떤 영향을 미칠지 살펴봐야 합니다. 

신선한 데이터 부족이 초래하는 건강하지 않은 AI

영향을 받거나 감염된 LLM에서 비롯되는 핵심 문제는 빈곤한 AI 모델입니다. 신선한 실제 데이터가 부족하면 출력이 왜곡되고 품질과 다양성이 떨어집니다. 

이 상황을 보다 이해하기 쉽고 시각적으로 설명하기 위해, AI를 사용해 인간 얼굴을 생성하는 경우를 살펴볼 수 있습니다. 점진적인 반복 루프를 통해 데이터를 공급하면 모든 얼굴이 동일해지고, 점점 같은 사람처럼 보이는 가능성이 나타납니다. 

이러한 파괴적인 가능성의 강도는 말할 것도 없이 심각합니다. 그 강도는 Baraniuk 교수의 발언에서 짐작할 수 있습니다:

“몇몇 파급 효과는 명확합니다: 충분한 신선한 실제 데이터가 없으면 미래의 생성 모델은 광기(MADness)로 향할 운명입니다.”

AI 개발 분야에 크게 다가오는 이 종말적인 상황을 해결할 방법이 있을까요? 현재 연구자들은 사용자가 데이터 품질을 다양성보다 선호하는 경향을 고려한 샘플링 편향 파라미터를 도입했습니다. 이 경향을 ‘체리 피킹’이라고 부릅니다. 장점은 더 많은 모델 반복에서도 데이터 품질을 유지한다는 것이지만, 그 대가로 다양성 감소가 크게 발생합니다. 

우리는 이미 AI가 미래 세계에 미칠 영향을 목격했습니다. 이렇게 많은 잠재력이 해방될 준비가 된 상황에서, 이 문제는 특히 새로운 혁신 기업들에게 큰 영향을 미칠 수 있습니다. 

Google은 다양한 이해관계자를 위해 LLM을 지원하는 선도 기업 중 하나이며, AI가 생성한 피드의 다양성 부족은 Google이 앞으로 해결해야 할 과제입니다. 여기서는 Google AI의 LLM 지원 능력을 간략히 살펴보겠습니다. 

#1. Google AI

AI 분야에서 Google이 목표를 달성하도록 돕는 두 개의 운영 부문은 Google DeepMind와 Google Cloud입니다. 협업을 구체적으로 설명하면, Google Cloud는 Google DeepMind가 개발·테스트한 혁신을 기업용 AI 플랫폼에 도입하여 고객이 이를 활용해 생성 AI 기능을 구축하고 제공할 수 있게 합니다. Google Cloud는 세 가지 LLM 서비스를 제공합니다.

• 첫 번째는 Vertex AI의 Generative AI로, 사용자가 Google의 대형 생성 AI 모델에 접근하여 테스트, 튜닝 및 애플리케이션에 배포할 수 있습니다.
• 두 번째는 Vertex AI 에이전트 빌더로, 기업 검색 및 챗봇 애플리케이션을 위한 것입니다. 온보딩, 데이터 수집, 맞춤화 등 일반적인 작업을 위한 사전 구축 워크플로우를 제공합니다.
• 마지막은 Contact Center AI로, Dialog Flow와 Google의 대화형 AI 플랫폼을 포함한 지능형 콜센터 솔루션이며, 의도 기반 및 LLM 기능을 모두 갖추고 있습니다.

하지만 Google도 AI 활용 과정에서 자체적인 문제를 겪었습니다. 올해 5월, Google CEO Sundar Pichai는 사용자 질의에 대한 이미지 결과가 인종적으로 편향된 경우 회사가 잘못했음을 명확히 밝혔습니다. 

Google은 소셜 미디어 사용자들이 Gemini가 나치 이미지를 포함해 유색 인종을 잘못 묘사하는 등 부적절한 이미지를 생성했다는 불만을 제기한 후 Gemini의 이미지 생성 기능을 일시 중단해야 했습니다. 

여기서 인용한 많은 연구와 일치하게, 회사는 Gemini 개발에 사용된 훈련 데이터의 제한으로 문제가 발생했다고 인정했습니다.

문제의 근원을 더 자세히 설명하면서, Sundar Pichai는 다음과 같이 말했습니다: 

“‘미국 인구는 얼마인가?’와 같은 질문에 답할 때는 명확히 답할 수 있습니다. 하지만 웹에 존재하는 다양한 의견을 보여주고 싶을 때도 있습니다. 바로 검색이 그렇게 하며, 이를 잘 수행합니다.”

Pichai에 따르면, Google이 수년간 수행해 온 작업 덕분에 검색 측면에서 신뢰할 수 있고 고품질의 정보를 제공하고 있습니다. 

재무적으로, Alphabet Inc. (GOOG ) (Google의 모회사)는 2023년에 3,074억 달러의 매출을 기록했으며, 이는 2022년 2,828억 달러 대비 9% 증가한 수치입니다. 영업 이익은 843억 달러에 달했으며, 전년 대비 크게 상승했습니다. 영업 비용이 2,231억 달러로 증가했음에도 순이익은 738억 달러로, 2022년 600억 달러와 비교됩니다.

#2. Cohere

이 분야에서 뛰어난 작업을 수행하고 있는 또 다른 기업은 토론토에 기반을 둔 Cohere입니다. 특별히 언급할 만한 이들의 이니셔티브 중 하나는 ‘Cohere for AI’로, 복잡한 머신러닝 문제 해결을 목표로 하는 비영리 연구실입니다. 전통적인 연구 그룹과 달리 Cohere for AI는 전담 연구 인력과 오픈 사이언스 이니셔티브 지원을 결합한 하이브리드 실험실로 운영됩니다. 이 회사는 전 세계 독립 연구자들과 공개적으로 협업하여 최첨단 ML 연구를 수행합니다. 

Cohere의 오픈 사이언스 연구 커뮤니티는 연구자, 엔지니어, 언어학자, 사회 과학자, 평생 학습자로 구성된 교차적인 공간이며, 전 세계 100개가 넘는 국가에서 온 기여자들로 활기를 띱니다. 

Cohere의 모델 중 일부는 Aya 23 – 8B와 Aya 23 – 35B(최첨단 접근 가능한 연구 LLM), C4AI Command R – 104B와 C4AI Command R – 35B(연구 접근성을 민주화하기 위한 모델 가중치), 그리고 대규모 다국어 연구 LLM인 Aya가 있습니다. 

최근 Cohere와 Fujitsu는 업계 최고 수준의 일본어 기능을 갖춘 엔터프라이즈 AI 서비스를 개발·제공하기 위한 전략적 파트너십을 발표했습니다. 협업 조건에 따라 양사는 전 세계 기업의 요구를 충족시키는 강력한 엔터프라이즈급 대형 언어 모델(LLM)을 구축할 예정입니다.

올해 3월, Cohere는 최신 자금 조달 라운드에서 50억 달러의 기업 가치를 목표로 하고 있다고 발표했습니다. 이 라운드를 통해 약 2억 5천만 달러를 모금하려는 것으로 알려졌습니다.

결론적 고찰

LLMs와 이를 구동하는 생성 AI 모델은 빠르게 등장하고 진화하고 있습니다. 이 분야는 대규모 야심차고 강렬한 포부를 가진 최첨단 기술을 포함합니다. 따라서 향후 몇 년간 이 분야에 대한 연구 투자가 크게 증가할 것으로 기대됩니다. 

연구 기관, 대기업, 교육 기관 등 모든 이해관계자는 이 분야에 대한 자원 배분을 강화하려 하고 있습니다. 이러한 활발한 활동은 새로운 단점이 부각될 것을 의미하지만, 동시에 방향 전환, 틀을 깨는 사고, 기존 솔루션을 가장 최적화된 방식으로 재구상하는 계기가 될 것입니다.

인공지능 투자에 대해 모두 알아보려면 여기를 클릭하세요.