신뢰는 얻어지는 것이지 주어지는 것이 아니다. AI는 자신을 증명했는가?

의심할 여지 없이, AI의 부상은 현象적이었다. 추정에 따르면 AI 시장은 2025년과 2030년 사이에 거의 28%의 연간 성장률을 기록할 것으로 예상된다. 이는 2025年的 2,437억 7,200만 달러에서 2030年的 8,267억 3,000만 달러로 성장할 것으로 예상된다.

이 AI 시장에는 많은 구성 요소가 있다. 컴퓨터 비전, AI 로봇, 기계 학습, 자율 주행 및 센서 기술, 자연어 처리 등이 포함된다. 분석가들은 이들 중 기계 학습이 가장 중요한 구성 요소라고 본다. 그러나 모든 구성 요소가 성장할 것으로 예상되지만, 그 성장 정도는 다를 수 있다.

디지털 시대에 살고 있음을 의미한다. 과학 문헌의大量의 볼륨 – 읽을 수 있는 및 오디오 비주얼 – 사람들이 AI가 어떻게 유익할 수 있는지 알게 했다.

고객들은 효율성을 선호하며, 제공자는 편의성과 운영의 용이성을寻求한다. 이러한 두 가지 모두 AI의 배치를 통해 달성될 수 있다.

그러나 장기적으로 지속 가능한 성장은 운영의 용이성과 효율성만으로는 달성될 수 없다. 그것은 많은 인식 요인들의 혼합물이다.

사람들이 기술을 어떻게 인식하는지에 따라 그 기술을 장기적으로 사용할지 여부가 결정된다. 그리고 사람들은 기술을 장기적으로 어떻게 인식하는지에 따라 그것을 신뢰할 수 있다.

AI가 지수적 성장을 준비하면서, 우리는 물어야 한다: AI는 자신을 증명했는가? 신뢰는 얻어지는 것이지 주어지는 것이 아니니까.

우리는 AI를 너무 많이 신뢰하고 있는가?

서리 대학교의 새로운 연구는 우리가 AI를 현재 사용하는 방식에 대한 방해물로 등장했다. 이는 은행, 의료, 범죄 탐지 등 모든 분야에서 발생한다.

보고서에 따르면, 이 연구는 AI 모델이 설계되고 평가되는 방식을 즉시 변경할 것을 요구한다. 투명성과 신뢰성의 필요성을 강조한다. ‘这是一个 강력한 呼吁이다.

이러한 呼吁의 이유는 무엇일까? 더 깊이 들여다보자.

이 기사는 Applied Artificial Intelligence에 발표되었으며, ‘실제 세계에서 설명 가능한 인공 지능의 효능: SAGE 프레임워크와 시나리오 기반 설계’라는 제목이다.

이 논문은 설명 가능한 인공 지능(XAI) 모델의 실제 세계적 효능을 제공하는 설계 및 평가 접근 방식을 보여주었다. 이 접근 방식은 최초의 것으로 주장되었다. 사용자 중심, 상황 감각, 사후 설명을 제공할 수 있는 세 가지 상호 보완적이지만 별개의 프레임워크에 기반을 두었다.

시나리오 기반 설계의 원칙에서 영감을 얻었다. 두 개의 독립적인 실제 세계 출처를 결합하여 실제적인 카드 사기 예측 시나리오를 설정했다.

그 후, SAGE 프레임워크를 배치했다. 이는 네 가지 주요 구성 요소의 약자이다:

• 설정
• 대상
• 목표
• 윤리

이 프레임워크는 모델 선택을 위한 상황 감각적인 기준을 식별하는 데 도움이 되며, 현재 XAI 모델 설계의 격차를 보여주어 추가 모델 개발을 위한 정보를 제공했다. 또한 효과 평가를 위한 기능 기반 평가 방법이 마련되었다.

결과는 실제 요구를보다 정확하게 나타낼 수 있는 설명을 제공했다.

AI는 의사 결정을 더 잘 설명해야 신뢰를 얻을 수 있다

이 설명들이 너무 과학적으로 들릴 수 있지만, 핵심적으로 이 연구는 AI에 대한 사용자 신뢰를 강화하는 데 중점을 두었다. AI가 의사 결정을 설명하는 데 부족한 영역에 초점을 맞추었다. 사용자가 AI를 이해하고 혼란이나 취약성을 느끼지 않도록 하기 위해 설명이 충분해야 한다.

AI의 설명 능력 부족은 의사 결정을 설명하지 못하는 경우 잠재적으로 유해할 수 있다. 이는 현재 의료, 은행 등과 같은 중요한 영역에서 사용되고 있다.

연구자들은 AI 시스템이 의사 결정을 설명하지 못한 사례가 경각심을 일으키고 있다고 보고했다. 보고서는 사기 데이터셋의 불균형을 지적하며, 손실 규모는 수십억 달러에 달할 수 있지만, 모든 거래의 0.01%에 불과하다고 밝혔다.

대부분의 거래가 투명하고 정당한 것은 좋은 일이지만, 이 불균형은 AI 모델이 사기 패턴을 학습하는 데 도전을 제기할 수 있다.幸い, AI 알고리즘은 사기 거래를 매우 높은 精度로 식별할 수 있다.

그러나 신뢰를 형성하는 노력을 해칠 것은 사기 이유를 설명하지 못하는 것이다.

서리 대학교의 Analytics 선임 강사인 Dr. Wolfgang Garn은 이와 관련하여 중요한 관찰을 했다. 그는 다음과 같이 말했다:

“알고리즘의 해법 뒤에는 실제로 영향을 받는 사람들이 있다는 것을 잊지 말아야 한다. 우리는 사람們이 신뢰하고 이해할 수 있는 설명을 제공하는 지능형 AI 시스템을 만들고자 한다.”

그는 본질적으로 기술이孤立되지 않고 인간의 삶에 의미 있는 영향을 미치기 위해 번창한다는 것을 지적한다. 인간의 신뢰를 얻으려면 AI는 다른 인간과 마찬가지로 행동해야 한다.

우리는 이미 Dr. Garn과 그의 논문이 제안한 AI를 더 인간적인 것으로 만드는 프레임워크에 대해 논의했다. 그의 제안된 워크플로우 외에도, 그는 AI의 상황 인식 부족을 의미 있는 설명을 제공하는 데 도전으로 본다.

해결책으로, Garn의 논문은 “사용자 중심 설계 원리를 우선하는 AI 개발의 진화를 주장한다”고 말했다.

Garn은 사용자 중심성이 전문가의 입력을 필요로 할 것이라고 알고 있다. 그래서 그는 다음과 같이 말했다:

“이 연구는 AI 개발자들이 산업 전문가 및 최종 사용자와 적극적으로 협력하여 다양한 이해관계자들의 통찰력이 AI의 미래를 형성하는 협력적인 환경을 조성하도록 촉구한다. 더 안전하고 신뢰할 수 있는 AI 랜드스케이프로의 길은 우리가 창조하는 기술과 그것이 우리의 삶에 미치는 영향에 대한 이해에서 시작된다. 위험은 너무 높기 때문에 변화에 대한 호출을 무시할 수 없다.”

신뢰할 수 있는 AI를 어떻게 보장할 수 있는가?

중요한 산업 참여자 중 하나인 SAP의 디지털 모달리티 부문 총괄 및 AI 혁신 채택을 통해 판매 및 비즈니스 개발 생산성을 높이는 책임자는 신뢰할 수 있는 AI를 보장하는 방법에 대한 중요한 지침을 제공했다. 그는 AI의 신뢰성을 확립하는 것은 AI의 의사 결정 과정에 윤리, 공정성, 인간의 가치와 조화를 보장하는 것을 의미한다고 믿었다.

그는 또한 AI를 이해할 수 있는 시스템으로 개발하고, 그 이유를 쉽게 설명할 수 있도록 해야 한다고 주장했다. 다른 것들 중에서, 그는 예외적인 데이터 거버넌스, 강력한 보안으로 AI를 강화하는 필요성, 그리고 사회에 긍정적인 영향을 미치도록 하면서 잠재적인 피해를 방지하기 위한 종합적이고 다학제적인 접근 방식의 필요성을 강조했다.

TCS의 AI 성능 및 신뢰 관리(AIPM) 프로그램의 솔루션 아키텍트인 Dr. Amit Kalele와 TCS의 Operations Framework Incubation Program의 Entrepreneur-in-Residence(EIR)인 Ravindran Subbiah는 신뢰할 수 있는 AI의 다섯 가지 기둥이 설명 가능성, 편향 및 공정성, 재현성, 지속 가능성, 투명성이라고 믿는다.

그들은 기계 학습 시스템과 결과의 설명 가능성을 개선하고, 개발 및 생산에서 편향을 이해하고 완화하는 데 도움이 되며, 공정성을 보장하는 데 필요한 도구와 프로세스를 지속적으로 개발하는 것이 중요하다고 믿는다.

또 다른 기술 거대 기업인 IBM은 신뢰할 수 있는 AI를 구축하는 데 있어 신뢰성이 핵심이라고 생각한다. IBM은 미래에 구축될 AI 시스템이 공정, 강력, 설명 가능, 책임 있게 되고, 설계된 사회의 가치와 일치하도록 하는 다양한 접근 방식을 연구하고 있다고 주장한다.

IBM은 2018년에 신뢰와 투명성에 대한 원칙을 도입했다. 이는 주요 회사 중 하나로 내부 프로세스, 도구, 지침, 교육, 위험 평가를 위한 AI 윤리 위원회를 설립했다.

IBM은 또한 2023년 12월에 AI Alliance를 공동 설립했다. 이는 현재 전 세계의 100개 이상의 회사, 학술 기관, 정부 기관, 연구소로 구성되어 있으며, 메타, 소니, NASA, 하버드, 클리블랜드 클리닉 등이 포함되어 있다. 이는 신뢰할 수 있는 AI를 보장하기 위해 개방형 혁신을 가속화하는 데 도움이 된다.

IBM 연구소의 선임 부사장 및 총괄인 Darío Gil은 다음과 같이 말했다:

“인공 지능은 모든 부문, 국가, 가치 시스템에 영향을 미치는 수평 기술이다.”

그는 다양한 기관의 협력을 통해 개발되어야 한다고 믿는다. 상호 신뢰가 중요하기 때문이다.

IBM 연구소는 또한 왜 컨텍스트 학습이 기초 모델의 예측을 개선하는지에 대한 이유를 발견했다고 주장. 이는 기계 학습을 신비롭게 만들고, 이 기술에 투명성을 추가한다. 이 연구는 IBM 연구소와 렌셀러 폴리테크닉 인스티튜트(RPI)의 과학자 팀이 수행했다.

IBM 연구소의 팀은 신뢰할 수 있는 AI를 구축하는 데에는 이러한 복잡한 시스템의 근본적인 작동 메커니즘을 조사하고, 이해하고, 구성 요소별로 분석하는 것이 포함된다고 믿는다.

“우리는 이 암흑의 마법에 투명성을 추가하고 있다. 사람들이 많이 사용하지만, 어떻게 작동하는지 이해하지 못한다.”

– IBM 연구소의 신뢰할 수 있는 AI 그룹의 선임 연구원 Pin-Yu Chen

2025년 1월 29일, IBM은 2024년 4분기 실적을 발표했다. 4분기 매출은 17.6억 달러로 전년 대비 1% 증가했으며, 상수 환율 기준으로 2% 증가했다. 2024년 전체 매출은 62.8억 달러로 전년 대비 1% 증가했으며, 상수 환율 기준으로 3% 증가했다.

신뢰할 수 있는 AI의 미래

지수적 성장을 보이는 AI는 강력한 윤리적 생태계를 필요로 한다. 신뢰와 투명성을 내장된 특성으로 가지기 위해서는, AI는 가능한 한 책임감 있게 작동해야 한다.

모두에게 유용해야 한다. 그의ประโยชน은 모든 수준에 도달해야 한다. 신뢰할 수 있는 AI는 데이터와 통찰력이 창조자에게 속한다는 원칙으로 작동해야 한다.

공정하고 투명한 데이터 정책은 신뢰를 강화하는 데 도움이 될 것이다. AI는 장기적으로 신뢰를 얻으려면,誰が AI 시스템을 훈련시켰는지, 어떤 데이터를 입력했는지 공개해야 한다.

사용자 인터페이스의 직관적 설계는 투명성을 손상해서는 안 된다. 좋은 설계는無шов且能有效地 설명 내부에서 발생하는 일을 할 수 있다. AI 시스템이 신뢰할 수 있고, 공정하고, 균형이良く, 잘 조정된다면, 사용자가 공정한 선택을 하는 데 성공적으로 도울 수 있다.

AI는 정확하고 책임감 있게 작동해야 한다. 상황을 잘 이해해야 한다. 개발자는 AI 모델의 기술적 복잡성을 이유로 해서 그들의 해결책이 접근하기 어렵게 할 수 없다.

신뢰는 기술적 소피스틱에이션을 자랑함으로써 얻어지는 것이 아니다. 좋은 기술은 사용하기 쉽고, 이해하기 쉽고, 사용자 상황과 필요에 민감하고, 재현 가능하고, 설명 가능하며, 신뢰할 수 있다!

인공 지능에 투자하는 모든 것을 알아보려면 여기를 클릭하십시오.

연구 참고:

1. Mill, E., Garn, W., & Turner, C. (2024). 실제 세계에서 설명 가능한 인공 지능의 효능: SAGE 프레임워크와 시나리오 기반 설계. Applied Artificial Intelligence, 38(1). https://doi.org/10.1080/08839514.2024.2430867