신뢰는 주어지는 것이 아니라 얻어지는 것이다. AI는 스스로 입증했는가?

의심할 여지 없이 AI의 부상은 놀라웠다. 추정에 따르면 AI 시장은 2025년부터 2030년까지 연간 약 28% 성장할 것으로 보인다. 2025년 2,437억 2천만 달러에서 2030년 8,267억 3천만 달러로 성장할 것으로 예상된다. 

AI 시장은 다양한 구성 요소를 포함한다. 여기에는 컴퓨터 비전, AI 로보틱스, 머신러닝, 자율 및 센서 기술, 자연어 처리 등이 있다. 분석가들은 이 중 머신러닝을 가장 중요한 구성 요소로 꼽는다. 그러나 모든 구성 요소가 성장할 것으로 예상되지만, 성장 정도는 다를 수 있다. 

디지털 시대에 살아가면서 우리는 디지털 기술을 채택하는 데 더욱 민감해졌다. 방대한 양의 과학 문헌(읽을 수 있는 것과 시청각 자료)이 사람들에게 AI가 어떻게 유익할 수 있는지 인식하게 만들었다. 

고객은 효율성을 선호하고, 제공자는 편리함과 운영 용이성을 추구한다. 이러한 두 가지는 AI 도입을 통해 달성될 수 있다. 

하지만 장기적인 지속 가능한 성장은 단순히 운영 용이성과 효율성만으로 이루어지는 것이 아니다. 여러 인식적 요인의 조합이 필요하다. 

사람들이 기술을 어떻게 인식하느냐가 일단 채택한 뒤 앞으로도 계속 사용할지를 결정한다. 그리고 장기적으로 기술에 대한 인식은 그 기술을 신뢰할 수 있는지 여부에 크게 좌우된다. 

AI가 급격한 성장을 준비함에 따라 우리는 물어야 한다: AI는 스스로 입증했는가? 신뢰는 얻어야 하는 것이며, 한 주체에서 다른 주체로 매끄럽게 넘겨지는 것이 아니다. 

우리는 AI를 너무 신뢰하고 있는가?

University of Surrey의 새로운 연구는 우리가 AI를 인식하고 현재 은행, 의료, 범죄 탐지 등 모든 분야에서 사용하는 방식을 확실히 뒤흔드는 요인으로 떠올랐다. 

보고된 바에 따르면, 이 연구는 AI 모델이 설계되고 평가되는 방식을 즉각적으로 전환할 것을 요구하며, 이러한 강력한 알고리즘에 투명성과 신뢰성이 필요함을 강조한다. ‘이는 확실히 강력한 호소다.’ 

이러한 행동 촉구의 이유는 무엇일까? 더 깊이 파헤쳐 보자.

이 기사는 Applied Artificial Intelligence에 ¹ 게재되었으며, 제목은 ‘SAGE 프레임워크와 시나리오 기반 설계를 활용한 설명 가능한 인공지능의 실제 효능’이다. 

이 논문은 설명 가능한 인공지능(XAI) 모델의 실제 효능을 제공하기 위한 설계 및 평가 접근법을 제시했다. 이 접근법이 최초라고 주장했다. 이는 사용자 중심, 상황 민감, 사기 탐지를 위한 사후 설명을 제공할 수 있게 하는 세 가지 상보적이면서도 구별되는 프레임워크 위에 구축되었다. 

시나리오 기반 설계 원칙에서 영감을 얻어 두 개의 독립적인 실제 사례를 결합해 현실적인 사기 예측 시나리오 카드를 구축했다. 

그 후, SAGE 프레임워크를 도입했으며, 이는 네 가지 핵심 구성 요소의 약어이다:

• 설정
• 대상
• 목표
• 윤리

이 프레임워크는 모델 선택을 위한 핵심 상황 민감 기준을 식별하는 데 도움을 주어 현재 XAI 모델 설계의 격차를 드러내고 향후 모델 개발에 기여했다. 또한 효과성 평가를 위한 기능 기반 평가 방법도 도입되었다. 

그 결과는 기존 모델보다 실제 요구 사항을 더 정확히 반영할 수 있는 설명 형태였다. 

AI는 신뢰를 얻기 위해 결정을 더 잘 설명해야 한다

이러한 설명이 과학적으로 들릴 수 있지만, 핵심적으로 이 연구는 중요한 영역에 빛을 비추었다: AI에 대한 사용자 신뢰를 강화해야 한다는 것이다. AI가 자신의 결정에 대해 충분한 설명을 제공해야 할 영역에 초점을 맞추었다. 그래야만 사용자가 AI를 이해하고 AI 도입 과정에서 느낄 수 있는 혼란이나 취약성을 해소하여 신뢰할 수 있게 된다. 

AI가 결정을 설명하지 못하거나 본질적인 결함이 있다면, 현재 의료, 금융 등 많은 중요한 분야에서 사용되고 있기 때문에 잠재적으로 해로울 수 있다. 

연구자들이 제시한 바에 따르면, AI 시스템이 결정을 충분히 설명하지 못한 사례는 충격적이었다. 보고서는 사기 데이터셋에 내재된 불균형을 지적한다. 피해 규모는 수십억 달러에 이를 수 있지만, 전체 거래 중 0.01%에 불과하다. 

대다수 거래가 투명하고 정상적이라는 점은 긍정적이지만, 이러한 불균형은 AI 모델이 사기 패턴을 학습하는 데 도전을 제기한다. 다행히 AI 알고리즘은 사기 거래를 높은 정밀도로 식별할 수 있다. 

하지만 신뢰 구축을 해치는 점은 AI가 사기의 이유를 설명하지 못한다는 것이다. 

Surrey 대학의 분석학 선임 강사이자 연구 공동 저자인 Wolfgang Garn 박사는 이와 관련해 중요한 관찰을 제시한다. 그는 말한다:

“우리는 모든 알고리즘의 해결책 뒤에 그 결정에 의해 영향을 받는 실제 사람들이 있다는 점을 잊어서는 안 된다. 우리는 지능적일 뿐만 아니라 기술 사용자에게 신뢰하고 이해할 수 있는 설명을 제공하는 AI 시스템을 만들고자 한다.” 

그는 본질적으로 우리에게 더 큰 그림을 제시한다: 기술은 고립된 상태에서 번성하지 않는다. 인간 삶에 의미 있는 영향을 미칠 때 번성한다. 인간의 신뢰를 얻기 위해 AI는 다른 인간처럼 자신의 행동을 설명해야 한다. 

우리는 이미 Dr. Garn이 제안한 AI를 보다 인간적으로 만드는 프레임워크에 대해 논의했다. 그의 제안된 워크플로우 외에도, 그는 AI의 상황 인식 부족이 의미 있는 설명을 제공하는 데 도전 과제라고 본다. 

해결책으로 Garn의 논문은 “사용자 중심 설계 원칙을 우선시하는 AI 개발의 진화를 촉구한다.” 

Garn은 사용자 중심이 전문가의 투입을 필요로 한다는 것을 알고 있다. 그래서 그는 말한다:

“이 연구 논문은 AI 개발자들이 산업 전문가와 최종 사용자와 적극적으로 협력하도록 요구한다. 다양한 이해관계자의 통찰이 AI의 미래를 형성할 수 있는 협업 환경을 조성한다. 더 안전하고 신뢰할 수 있는 AI 환경으로 가는 길은 우리가 만든 기술과 그 기술이 우리 삶에 미치는 영향을 이해하려는 약속에서 시작한다. 변화에 대한 요구를 무시하기엔 위험이 너무 크다.” 

신뢰할 수 있는 AI를 보장하려면 어떻게 해야 할까?

핵심 산업 참여자 중 한 명인 SAP (SAP )의 부사장 겸 디지털 모달리티 책임자는 AI 혁신 도입을 통해 판매 및 비즈니스 개발 생산성을 높이고 있다. 안전하고 보안적이며 신뢰할 수 있는 AI를 보장하는 방법에 대해 중요한 지침을 제시했다. AI의 신뢰성을 확립하려면 AI의 의사결정 과정이 윤리적이고 공정하며 인간 가치와 조화를 이루어야 한다고 믿었다.

그는 또한 AI를 이해하기 쉬운 시스템으로 개발하고 그 논리를 쉽게 설명할 수 있도록 하는 것이 중요하다고 주장했다. 그 외에도 뛰어난 데이터 거버넌스의 중요성, 강력한 보안으로 AI를 강화해야 함, 그리고 AI 시스템이 사회에 긍정적인 영향을 미치고 혁신을 촉진하면서 잠재적 위험을 방지하도록 포괄적이고 다학제적인 접근 방식을 수립해야 함을 강조했다.

TCS Incubation의 AI Performance and Trust Management (AIPM) 프로그램 솔루션 아키텍트인 Amit Kalele 박사와 TCS 운영 프레임워크 인큐베이션 프로그램의 기업가 인 레지던스(EIR)인 Ravindran Subbiah에 따르면, 신뢰할 수 있는 AI의 다섯 가지 기둥은 설명 가능성, 편향 및 공정성, 재현성, 지속 가능성, 투명성이다.

그들은 머신러닝 시스템과 결과의 설명 가능성을 향상시키고, 개발 및 운영 단계에서 편향을 이해·문서화·모니터링·완화하며, 공정성을 보장하는 도구와 프로세스를 지속적으로 개발하는 것이 중요하다고 믿는다.

유사한 입장을 취하고 있는 또 다른 기술 대기업은 IBM (IBM )이다. IBM에 따르면 AI에 대한 신뢰를 구축하려면 AI에 도덕성을 부여하고, 완전한 투명성으로 운영하며, 기업과 소비자에게 제공할 기회에 대한 교육을 제공하는 데 상당한 노력이 필요하다.

IBM은 조직이 AI 프로세스의 각 단계에 대한 가시성을 확보하고, 조직의 전반적인 목표를 지속적으로 반영하는 검증 가능한 접점을 활용하여 투명성을 높이고 결과에 대한 이해를 향상시켜 정확하고 신뢰할 수 있는 AI 결정을 제공할 수 있도록 견고한 AI 라이프사이클 관리 전략을 갖출 것을 권고한다.

Salesforce의 책임 AI 및 기술 부문 제품 부사장인 Rob Katz는 신뢰할 수 있는 AI 에이전트를 구축하기 위한 다섯 가지 방법 로드맵을 제시했다. 

그는 AI에 대한 신뢰 구축은 신중한 설계, 엄격한 테스트, 지속적인 혁신이 필요한 여정이라고 믿는다. Salesforce는 의도적인 설계, 시스템 수준 제어, 신뢰 패턴 구현에 집중함으로써 인간과 AI가 원활하고 효과적으로 협업할 수 있는 미래를 열어가고 있다고 주장한다.

다음 섹션에서는 Salesforce의 Agentforce에 대해 논의할 것이며, 이는 신뢰할 수 있는 AI 위에 구축된 것으로 주장된다. 

1. Salesforce (SAP )

Agentforce by Salesforce는 직원이나 고객에게 전문적이고 항상 켜져 있는 지원을 제공하는 선제적이며 자율적인 AI 애플리케이션이다. 특정 역할에 따라 작업을 수행하기 위해 필요한 비즈니스 지식으로 장착될 수 있다. Agentforce는 서비스, 영업, 마케팅, 상거래 등 다양한 분야에 걸쳐 다양한 에이전트를 구축하는 데 도움을 준다. 

예를 들어 서비스 에이전트는 전통적인 챗봇을 AI로 대체하여 사전 프로그래밍된 시나리오 없이도 다양한 서비스 문제를 처리함으로써 고객 서비스 효율성을 향상시킨다. 

구매자 에이전트는 B2B 구매 경험을 향상시켜, 구매자가 채팅이나 영업 포털을 통해 제품을 찾고, 구매하고, 주문을 추적하도록 돕는다. 

Agentforce를 사용하면 조직 팀은 사전 구축된 새로운 스킬 라이브러리를 통해 어느 부서든 빠르게 맞춤형 Agentforce를 만들 수 있다. 이러한 스킬은 CRM, Slack, Tableau 및 파트너 사용 사례와 회사 맞춤형 스킬을 포괄한다. Agentforce는 기존 API에 연결하거나 MuleSoft의 사전 구축된 커넥터를 통해 40개 이상의 시스템에 연결하여 어떤 시스템이나 워크플로에서도 작업을 수행할 수 있다.

Salesforce는 Agentforce 2.0이 그 어느 때보다 더 신뢰받고 있다고 주장한다. 추론 엔진인 Atlas는 향상된 추론 및 데이터 검색 기술로 더욱 스마트해졌다. 이는 복잡하고 다단계 질문이 제시될 때 Agentforce가 깊이 있게 사고하도록 하며, 추가된 고객‑특정 메타데이터로 풍부해진 데이터 소스 전반에 걸쳐 추론한다. 이를 통해 Agentforce는 최적의 행동을 취하고 인라인 인용과 함께 정확하고 잘 조사된 응답을 제공한다.

Salesforce는 신뢰가 Agentforce의 성공 핵심이라고 믿는다. 실제로 인공지능(AI) 에이전트의 잠재력은 누군가를 대신해 행동할 때 신뢰받을 경우에만 실현될 수 있다. 

이 필수 기준을 충족하기 위해 Salesforce는 인간이 AI와 안전하고 손쉽게 파트너십을 맺을 수 있도록 AI를 설계한다. 

Salesforce는 그들의 접근 방식이 투명성, 책임성, 보호 조치를 강조하고 우선시하는 의도적인 설계와 시스템 수준 제어에 기반한다고 주장한다.

Salesforce는 세계 최고의 AI 고객 관계 관리(CRM) 플랫폼이라고 주장하며, 150,000개 이상의 기업이 클라우드 기반 소프트웨어를 사용하고 있다. 2024 회계연도(2024년 1월 31일 종료) 매출은 349억 달러로 전년 대비 11% 성장했다.

2. IBM (IBM )

효과적인 AI 솔루션 구축에 신뢰성을 핵심으로 여기는 또 다른 기업은 IBM이다. IBM은 연구 부문이 향후 구축될 AI 시스템이 공정하고 견고하며 설명 가능하고 책임감 있으며 설계된 사회의 가치와 일치하도록 다양한 접근 방식을 연구하고 있다고 주장한다. 또한 향후 AI 애플리케이션이 전체 수명 주기 동안 효율성만큼이나 공정성을 유지하도록 보장하고 있다고 주장한다.

2018년 IBM은 신뢰와 투명성 원칙을 도입했다. 이는 주요 기업 중 최초로 AI 윤리 위원회를 설립하여 회사의 AI 개발 및 사용에 대한 내부 프로세스, 도구, 가이드라인, 교육, 위험 평가를 관리한 사례 중 하나이다. 

IBM은 또한 2023년 12월에 AI Alliance를 공동 설립했으며, 현재 메타, 소니, NASA, 하버드, 클리블랜드 클리닉 등을 포함한 100개 이상의 기업, 학술 기관, 정부 기관, 연구소가 참여하고 있다. 이 연합은 오픈소스 혁신을 가속화하여 AI에 대한 신뢰를 향상시키고 사회 전체에 혜택을 주도록 노력한다. 

IBM Research의 수석 부사장 겸 이사인 Darío Gil에 따르면,  

“인공지능은 모든 분야, 국가, 가치 체계에 영향을 미치는 횡단 기술이다.” 

그는 다양한 기관들의 협력을 통해 개발되어야 하며, 상호 신뢰가 필수적이라고 믿는다. 

IBM Research는 또한 컨텍스트 학습이 기본 모델의 예측을 향상시키는 이유를 밝혀 머신러닝을 해명하고 기술에 투명성을 더했다고 주장한다. 이 연구는 IBM Research와 Rensselaer Polytechnic Institute(RPI)에서 일하는 과학자 팀에 의해 수행되었다. 

IBM에서 일하는 팀은 신뢰할 수 있는 AI를 구축하는 일의 일부가 LLM 및 생성 AI와 같은 복잡한 시스템의 근본적인 작동 메커니즘을 살펴보고, 이를 비트 단위와 구성 요소별로 이해하여 어떻게 작동하는지, 언제 성공하거나 실패할지를 파악하는 것이라고 믿는다. 

“우리는 이 어두운 마법에 투명성을 더하고 있다. 사람들은 많이 사용하지만 어떻게 작동하는지 이해하지 못한다.”

– IBM Research 신뢰 AI 그룹 수석 연구원 Pin‑Yu Chen

2025년 1월 29일, IBM은 2024년 4분기 실적을 발표했다. 4분기 매출은 176억 달러로 전년 대비 1% 상승했으며, 고정 환율 기준으로는 2% 상승했다. 2024년 전체 매출은 628억 달러로 전년 대비 1% 상승했으며, 고정 환율 기준으로는 3% 상승했다. 

AI의 신뢰할 수 있는 미래

AI가 목격하고 있는 급격한 성장은 AI를 둘러싸고 보호할 강력한 윤리적 생태계가 필요함을 의미한다. 신뢰와 투명성을 내재된 특성으로 만들기 위해 AI는 가능한 한 책임감 있게 되어야 한다. 

AI는 모든 사람에게 유용해야 한다. 그 혜택은 모든 계층에 도달해야 한다. 신뢰할 수 있는 AI는 데이터와 인사이트가 창작자에게 귀속된다는 원칙에 따라 작동해야 한다. 

공정하고 투명한 데이터 정책은 신뢰를 강화하는 데 도움이 된다. AI가 장기적으로 신뢰를 얻기 위해서는 AI 시스템을 누가 학습시켰는지, 어떤 종류의 데이터를 제공했는지를 공개해야 한다.

사용 용이성과 직관적인 사용자 인터페이스 설계가 투명성을 희생한다는 의미는 아니다. 좋은 디자인은 매끄러우면서도 내부에서 일어나는 일을 효과적으로 설명할 수 있다. AI 시스템이 신뢰할 수 있고, 공정하며, 균형 잡히고 적절히 보정된다면, 사용자들이 공정한 선택을 하는 데 성공적으로 도움을 줄 것이다. 

AI는 정확하면서도 책임감 있어야 한다. 상황을 잘 이해해야 한다. 개발자는 AI 모델의 기술적 복잡성을 변명 삼아 솔루션을 접근 불가능하게 만들어서는 안 된다. 

기술적 정교함을 자랑한다고 해서 신뢰를 얻을 수는 없다. 좋은 기술은 사용하기 쉽고, 이해 가능하며, 사용자 상황과 요구에 민감하고, 재현 가능하고, 설명 가능하며, 신뢰받을 가치가 있는 것이다! 

클릭하여 인공지능 투자에 대해 모두 알아보세요.

연구 참고:

1. Mill, E., Garn, W., & Turner, C. (2024). SAGE 프레임워크와 시나리오 기반 설계를 활용한 설명 가능한 인공지능의 실제 효능. Applied Artificial Intelligence, 38(1). https://doi.org/10.1080/08839514.2024.2430867