인공지능
설명 가능한 AI가 비즈니스 경쟁력이 될 수 있는 이유

핵심 포인트책임 규칙은 에이전트가 유해한 실패를 더 쉽게 조사할 수 있게 만드는 개발자에게 보상을 줄 수 있다.
더 보기
- 책임 규칙은 에이전트가 유해한 실패를 더 쉽게 조사할 수 있게 만드는 개발자에게 보상을 줄 수 있다.
- 에이전트 행동에 대한 검증 가능한 기록은 설득력 있는 설명보다 구매자에게 더 중요할 수 있다.
- 거버넌스 도구는 유능한 에이전트를 기업이 기꺼이 배포하려는 시스템으로 바꿀 수 있다.
에이전트형 AI의 책임 문제: 설명가능성이 이익이 될 수 있는 이유
잘못된 공급업체를 추천하는 AI 어시스턴트가 있더라도 누군가 그 문제를 알아차릴 수 있습니다. 하지만 공급업체를 선정하고, 주문을 승인하고, 대금 지급을 시작하는 AI 에이전트는 사람이 개입하기도 전에 그 실수를 재정적 손실로 이어지게 할 수 있습니다.
질문에 답하는 데서 직접 행동하는 것으로 바뀌면서 인공지능의 경제성이 달라지고 있습니다. 기업은 에이전트가 어떤 일을 해낼 수 있는지뿐 아니라, 문제가 발생했을 때 에이전트의 결정을 어떻게 조사할 수 있는지도 알아야 합니다.
『에이전트형 AI의 통제 불능 행동에 대한 책임』이라는 새 연구가 Telecommunications Policy에 게재되어, 법적 책임이 개발자에게 자율 시스템의 설명가능성을 높이도록 장려할 수 있는 방법을 살펴봅니다.1 이 연구의 핵심 주장은 상업적으로 중요한 의미를 지닙니다. 적절하게 설계된 책임 체계 아래에서는 더 나은 설명을 통해 개발자가 부담할 손해배상액을 줄일 수 있다는 것입니다.
더 넓은 기회는 소송을 넘어섭니다. 에이전트가 어떻게 작동하는지 보여주는 증거는 기업이 배포를 승인하고, 실패를 조사하고, 공급업체와 책임 소재를 협의하는 데 도움이 될 수 있습니다.
AI 에이전트가 새로운 책임 문제를 일으키는 이유
에이전트형 AI란 목표를 추구하며 일련의 행동을 수행하는 시스템을 말합니다. 이런 시스템은 대개 사람의 감독을 제한적으로 받으면서 소프트웨어 도구를 사용합니다. 에이전트는 구매를 조사하고, 제안을 비교하고, 내부 기록을 갱신하고, 주문을 넣을 수 있습니다.
연구진은 예측하기 어려운 유해 행동에 주목하며, 이를 “AI에 내재한 결함”이라고 부릅니다. 연구의 틀에서 이는 개발에 충분한 주의를 기울이고 이용 가능한 테스트를 거치더라도 여전히 발생할 수 있는 실패입니다.
한 가지 사례는 명세 악용입니다. 시스템이 측정 가능한 목표를 달성하면서도 실제 목적은 훼손하는 경우입니다. 송장 가격을 낮추면 보상을 받는 구매 에이전트가 신뢰하기 어려운 공급업체를 선정해 생산 중단 시간을 늘리는 상황을 생각해 보세요. 이 가상의 사례는 좁은 목표를 달성하는 일이 기업에는 실패로 이어질 수 있음을 보여줍니다.
연구진은 개발자가 이런 위험을 모두 없앨 수 없고 법원이 피할 수 없었던 실패와 불충분한 예방 조치를 쉽게 구분할 수도 없을 때, 책임을 어떻게 적용해야 하는지 질문합니다.
설명가능성이 AI 책임 문제를 바꿀 수 있는 방식
이 논문은 여러 당사자의 이해관계가 맞물리는 상황에서 의사결정을 연구하는 수학적 접근법인 게임 이론을 활용합니다. 또한 책임 규정이 개발자의 설명가능성 투자 의지에 어떤 영향을 미치는지 살펴봅니다.
제안된 메커니즘은 설명가능성 기준을 충족하고 유해 사건이 내재적 한계에서 비롯됐다는 점을 만족스럽게 입증하는 개발자에게 보상을 제공합니다. 설명이 불충분한 개발자는 더 큰 책임을 질 가능성이 있습니다.
그렇다고 모니터링 소프트웨어를 구매하면 자동으로 법적 보호를 받을 수 있다는 뜻은 아닙니다. 이 체계가 작동하려면 신뢰할 수 있는 기준과 유용한 증거가 필요하며, 관련 법률 체계에서도 이를 받아들여야 합니다.
수학적 분석의 결과와 정책 권고를 구분하는 것도 중요합니다. 개발자가 손해배상액을 전혀 부담하지 않는 경우는 이론적 기준점으로 제시됩니다. 하지만 정책 논의에서 논문은 손해배상액을 없애지 않으면서 줄이는 단계적 기준을 권고해, 피해자에게 일정 수준의 배상이 이루어지도록 합니다.
| 요소 | 논문에서 제안하거나 전제하는 내용 |
|---|---|
| 설명가능성에 대한 투자 | 책임에 따른 유인이 개발자의 설명가능성 개선을 장려한다. |
| 충분한 설명 | 피해가 AI의 내재적 한계에서 비롯됐다는 증거가 있으면 손해배상액 감액의 근거가 된다. |
| 불충분한 설명 | 충분한 설명을 제공하지 못하면 더 큰 책임을 질 수 있다. |
| 실용적인 정책 접근법 | 단계적 기준을 적용해 피해자에게 일정 수준의 배상을 보장하면서 손해배상액을 줄인다. |
| 증거의 한계 | 설명가능성과 피해 감소 간에 가정된 관계는 추가적인 실증 검증이 필요하다. |
AI 설명에서 검증 가능한 증거로
이 연구를 상업적 관점에서 유용하게 해석하면, 기업에는 에이전트의 행동을 그럴듯하게 설명하는 말이 아니라 직접 살펴볼 수 있는 증거가 필요하다는 뜻입니다.
가상의 구매 에이전트 사례에서 조사 담당자는 에이전트가 어떤 공급업체를 검토했는지, 어떤 정보를 받았는지, 어떤 권한을 부여받았는지, 필수 승인이 이루어졌는지를 보여주는 기록을 확인하려 할 것입니다. 이런 기록이 모든 내부 연산을 밝혀 주는 것은 아니지만, 사건을 재구성하기 쉽게 만들 수 있습니다.
이 점에서 설명가능성과 관측가능성은 구분됩니다. 설명가능성은 시스템의 행동을 이해하는 것과 관련되고, 관측가능성은 시스템 작동 방식에 관한 정보를 수집하는 것과 관련됩니다. 두 가지는 서로를 뒷받침할 수 있지만, 어느 쪽도 결과가 불가피했다는 사실을 자동으로 입증하지는 않습니다.
Gartner가 2026년 3월에 발표한 설명 가능한 AI 및 관측 가능성 투자 분석은 관측 가능성에 대한 투자가 2028년까지 생성형 AI 배포의 50%에 이를 것으로 전망했다. 전망 당시의 15%에서 증가한 수치다. 이는 예측이지만, 이미 배포된 시스템의 작동 방식을 이해하는 데 대한 상업적 관심이 커지고 있음을 보여준다.
구매자는 다음 세 가지 실무적 질문을 고려해야 한다.
- 공급업체가 에이전트의 중대한 결과를 초래한 행동을 재구성할 수 있는가?
- 기업이 권한을 제한하고 민감한 결정에 승인을 요구할 수 있는가?
- 사고가 발생했을 때 조사자가 신뢰할 수 있는 기록을 내보낼 수 있는가?
Securities.io가 최근 다룬 AI 에이전트의 신원 및 접근 제어는 이 과제와 맞닿은 측면을 살펴본다. 어떤 에이전트가 행동했는지, 그리고 그 에이전트가 어떤 권한을 부여받았는지 파악하는 것이 책임 소재를 규명하는 출발점이다.
더 나은 거버넌스가 자동화 확대를 이끌 수 있는 이유
기회는 잠재적 손해를 줄이는 데 그치지 않는다. 한 기업이 에이전트에 구매를 추천하는 역할만 맡길지, 아니면 독자적으로 구매를 실행하게 할지 결정하는 상황을 생각해 보자.
관리자가 의사결정을 조사하거나 책임자를 가려낼 수 없다면, 광범위한 수동 검토를 계속 유지할 수 있다. 이는 생산성 향상의 효과를 제한한다. 더 나은 기록, 명확한 권한 체계, 신뢰할 수 있는 상향 보고 절차가 마련되면 더 폭넓은 배포를 받아들이기 쉬워질 수 있다.
이는 가치의 두 번째 원천을 시사한다. 거버넌스 도구는 기술적으로 역량을 갖춘 에이전트를 기업이 실제로 사용하려는 시스템으로 전환하는 데 도움을 줄 수 있다. 이는 경제적 추론이지, 해당 논문이 측정한 결과는 아니다.
2026년 10월에 실시한 IBM 의뢰 기업 AI 거버넌스 설문조사는 도입 과정의 격차를 보여준다. 유럽과 중동 8개국의 고위 경영진 3,221명을 대상으로 한 조사에서 35%는 에이전트형 AI를 실제 운영 환경에 도입했다고 답했지만, 거버넌스 시스템이 에이전트형 AI 배포 확대에 맞춰 설계됐다고 답한 비율은 37%에 그쳤다.
이는 독립적인 기술 안전성 측정 결과가 아니라, 거버넌스 공급업체의 의뢰를 받은 조사에서 나온 자기 보고식 결과다. 그럼에도 실질적인 구매 과제를 드러낸다. 에이전트를 배포하는 역량과 이를 감독하는 역량은 별개다.
투명성이 조달 경쟁력이 될 수 있다
두 에이전트의 성능이 비슷하다면, 구매자는 사고를 더 쉽게 조사할 수 있도록 지원하는 공급업체를 선호할 수 있다. 이에 따라 모델 정확도뿐 아니라 증거의 품질, 통합, 책임 소재를 둘러싼 경쟁도 가능해진다.
Securities.io가 다룬 시장 예측에서의 설명 가능한 AI는 이와 관련된 차이를 보여준다. 모델의 행동을 이해하는 일은 수익성 있는 성과를 입증하지 못하더라도 진단에 도움이 된다.
기업용 에이전트의 경우, 계약에 기록 접근 권한, 사고 발생 시 협력 의무, 승인 책임을 명시할 수 있다. 이런 조항이 모든 책임 문제를 해결하지는 못하지만, 배포 전에 불확실성을 줄이는 데 도움이 될 수 있다.
책임성과 경쟁력 사이의 절충
논문은 설명 가능성 요건이 소규모 개발자에게 불균형적으로 큰 비용을 부과할 수 있다고 인정한다. 대기업은 벤치마킹, 감사, 전문 인력으로 구성된 팀에 더 쉽게 자금을 투입할 수 있다.
그 결과 기존 거버넌스 플랫폼에 대한 의존도가 높아질 수 있다. 또 다른 가능성은 소규모 공급업체도 동등한 안전장치를 입증할 수 있도록 공통 표준과 저렴한 도구에 대한 수요가 커지는 것이다.
이러한 표준의 품질이 중요하다. 이 모델은 설명 가능성 벤치마킹을 완벽하게 검증할 수 있다고 가정하지만, 실제 감사 결과는 달라질 수 있고 형식적인 규정 준수에 그칠 가능성도 남아 있다. 또한 설명 가능성이 피해 발생 가능성을 낮춘다고 가정하는데, 저자들은 이 관계를 추가로 검증해야 한다고 말한다.
따라서 문서화가 개선됐다고 해서 더 안전하게 작동한다는 증거로 여겨서는 안 된다. 유용한 평가는 설명이 원인을 파악하고, 실패를 바로잡고, 재발을 방지하는 데 도움이 되는지 살펴봐야 한다.
기업 AI 거버넌스에서 IBM의 역할
이러한 도입상의 요구는 기업용 AI 인프라를 구축하는 기업에 관심이 있는 투자자에게 IBM을 자연스럽게 연결해 준다.
IBM 가격 차트
IBM의 2026년 10월 watsonx.governance 업데이트는 에이전트 탐색 기능을 확대하고 운영 평가 지표를 거버넌스 제어 기능과 연결한다. Langfuse 및 Arize와의 통합을 통해 모니터링 정보가 거버넌스 기록에 반영되며, watsonx Orchestrate와의 통합은 정의된 제어 기능을 런타임의 실행 증거와 연결한다.
이러한 기능은 실무에서 필요한 증거 확보 문제의 일부를 해결한다. 하지만 IBM이 논문에서 제안한 법적 기준을 충족한다거나 고객에게 책임 보호를 제공한다는 점을 입증하지는 않는다.
잠재적인 상업적 이점은 기업이 기존 시스템 전반에서 에이전트를 관리하도록 지원하는 데 있다. 자동화 확대의 전제 조건으로 거버넌스가 자리 잡는다면, 수요가 소프트웨어 구독과 구축 서비스 사업을 뒷받침할 수 있다.
투자자들이 다음으로 주목할 점은 이러한 수요가 지속 가능한 매출과 매력적인 마진으로 이어지는지 여부다. 관련 신호로는 고객 도입 현황, 파일럿 프로젝트를 넘어선 확산, 거버넌스 기능이 구매 결정에 영향을 미친다는 증거가 있다. IBM은 더 광범위한 사업의 일부로 이 테마에 투자할 기회를 제공하므로, AI 거버넌스 분야에서의 성공만으로 IBM의 투자 성과가 결정되지는 않는다.
IBM(IBM)의 최신 뉴스와 동향
상업용 AI의 기반이 되는 설명 가능성
이 논문은 예측하기 어려운 실패를 더 쉽게 이해할 수 있도록 하는 개발자에게 보상을 제공하는 체계를 제시한다. 실질적인 기여는 인센티브에 관한 질문이다. 책임성을 어떻게 높여 더 나은 시스템에 대한 투자를 이끌어낼 수 있을까?
기업에는 자율성을 더 쉽게 평가하고 도입할 수 있도록 하는 기회가 있다. 기술 공급업체에는 결정에 이의가 제기될 때도 유용한 증거를 제공할 기회가 있다. 가장 경쟁력 있는 상업적 제안은 고객이 실제로 신뢰할 수 있는 통제 수단과 기록을 유능한 에이전트와 결합하는 것이다.
참고 문헌:
1 Papyshev, G., Chan, K. J. D. 및 Migliorini, S. (2026). 에이전트형 AI의 통제 불능 행동에 대한 책임. Telecommunications Policy, 50, 논문 번호 103339. https://doi.org/10.1016/j.telpol.2026.103339











