Mengapa AI yang Dapat Dijelaskan Bisa Menjadi Keunggulan Bisnis

Tanggung Jawab Hukum atas AI Agentik: Mengapa Kemampuan untuk Menjelaskan Bisa Menguntungkan

Asisten AI yang menyarankan pemasok yang keliru menimbulkan masalah yang masih bisa diketahui seseorang. Namun, agen AI yang memilih pemasok, menandatangani pesanan, dan memulai pembayaran dapat mengubah kekeliruan itu menjadi kerugian finansial sebelum siapa pun sempat turun tangan.

Peralihan dari menjawab pertanyaan menjadi mengambil tindakan ini mengubah perhitungan ekonomi kecerdasan buatan. Perusahaan perlu mengetahui apa yang dapat dilakukan agen, sekaligus bagaimana keputusan mereka dapat diselidiki ketika terjadi masalah.

Sebuah studi baru berjudul “Tanggung Jawab atas Perilaku Menyimpang AI Agentik”, yang diterbitkan di Telecommunications Policy, mengkaji bagaimana tanggung jawab hukum dapat mendorong pengembang membuat sistem otonom lebih mudah dijelaskan.¹ Gagasan utamanya memiliki arti penting secara komersial: dalam kerangka tanggung jawab hukum yang dirancang dengan tepat, penjelasan yang lebih baik dapat mengurangi risiko pengembang harus membayar ganti rugi.

Peluang yang lebih luas tidak terbatas pada litigasi. Bukti mengenai cara kerja agen dapat membantu perusahaan menyetujui penerapannya, menyelidiki kegagalan, dan merundingkan pembagian tanggung jawab dengan pemasok.

Mengapa Agen AI Menimbulkan Persoalan Tanggung Jawab Hukum yang Berbeda

AI agentik merujuk pada sistem yang mengejar tujuan melalui serangkaian tindakan, sering kali dengan menggunakan perangkat lunak dan pengawasan manusia yang terbatas. Agen dapat meneliti pembelian, membandingkan penawaran, memperbarui catatan internal, dan membuat pesanan.

Para peneliti berfokus pada perilaku merugikan yang tak terduga, yang mereka sebut “cacat bawaan AI”. Dalam kerangka mereka, kegagalan seperti ini masih mungkin terjadi meskipun pengembangan dilakukan dengan cermat dan pengujian yang tersedia telah dijalankan.

Salah satu contohnya adalah mengakali spesifikasi: sistem memenuhi sasaran yang diukur, tetapi justru merusak tujuan sebenarnya. Bayangkan agen pembelian yang diberi imbalan karena menurunkan harga pada faktur, lalu memilih pemasok yang tidak andal sehingga waktu henti produksi meningkat. Contoh hipotetis ini menunjukkan bagaimana keberhasilan memenuhi sasaran yang sempit dapat berujung pada kegagalan bagi perusahaan.

Para penulis mengkaji bagaimana tanggung jawab hukum seharusnya diterapkan ketika pengembang tidak dapat menghilangkan semua risiko tersebut dan pengadilan tidak dapat dengan mudah membedakan kegagalan yang tak terhindarkan dari kurangnya langkah pencegahan.

Bagaimana Kemampuan untuk Menjelaskan Dapat Mengubah Tanggung Jawab Hukum atas AI

Makalah ini menggunakan teori permainan, pendekatan matematis untuk mempelajari pengambilan keputusan ketika insentif berbagai pihak saling berinteraksi. Makalah tersebut mengkaji bagaimana aturan tanggung jawab hukum memengaruhi kesediaan pengembang untuk berinvestasi dalam kemampuan menjelaskan AI.

Mekanisme yang diusulkan memberi penghargaan kepada pengembang yang memenuhi tolok ukur kemampuan menjelaskan dan dapat menunjukkan secara meyakinkan bahwa insiden yang merugikan timbul dari keterbatasan bawaan. Pengembang yang memberikan penjelasan tidak memadai menghadapi risiko tanggung jawab hukum yang lebih besar.

Ini bukan berarti pembelian perangkat lunak pemantauan otomatis memberikan perlindungan hukum. Kerangka tersebut mensyaratkan standar yang tepercaya, bukti yang berguna, dan penerimaan dalam sistem hukum yang relevan.

Perbedaan antara hasil matematis dan rekomendasi kebijakan juga penting. Nol ganti rugi bagi pengembang muncul sebagai tolok ukur teoretis. Dalam pembahasan kebijakannya, makalah tersebut merekomendasikan skala bertingkat yang mengurangi ganti rugi tanpa menghapusnya, sehingga korban tetap memperoleh sebagian kompensasi.

Dari Penjelasan AI ke Bukti yang Dapat Diverifikasi

Salah satu penafsiran praktis penelitian ini bagi dunia usaha adalah bahwa perusahaan memerlukan bukti yang dapat mereka periksa, bukan sekadar uraian meyakinkan tentang perilaku agen.

Dalam kasus hipotetis agen pembelian, penyelidik akan memerlukan catatan yang menunjukkan pemasok mana saja yang dipertimbangkan, informasi apa yang diterima agen, wewenang apa yang dimilikinya, dan apakah persetujuan yang diwajibkan telah diperoleh. Catatan ini belum tentu mengungkap setiap komputasi internal, tetapi dapat memudahkan rekonstruksi insiden.

Perbedaan ini memisahkan kemampuan menjelaskan dari observabilitas. Kemampuan menjelaskan berkaitan dengan pemahaman atas perilaku, sedangkan observabilitas berkaitan dengan pengumpulan informasi tentang cara kerja suatu sistem. Keduanya dapat saling mendukung, tetapi tidak satu pun secara otomatis membuktikan bahwa suatu hasil tidak dapat dihindari.

Analisis Gartner pada Maret 2026 tentang investasi pada AI yang dapat dijelaskan dan observabilitas memperkirakan bahwa investasi observabilitas akan mencakup 50% penerapan AI generatif pada 2028, naik dari 15% pada saat perkiraan itu dibuat. Ini merupakan perkiraan, tetapi menunjukkan meningkatnya perhatian komersial terhadap pemahaman sistem yang telah diterapkan.

Bagi calon pembeli, ada tiga pertanyaan praktis:

• Dapatkah pemasok merekonstruksi tindakan agen yang berdampak penting?
• Dapatkah perusahaan membatasi izin dan mewajibkan persetujuan untuk keputusan sensitif?
• Dapatkah penyelidik mengekspor catatan yang andal saat terjadi insiden?

Liputan terbaru Securities.io tentang identitas dan kontrol akses agen AI membahas aspek lain yang berkaitan dengan tantangan ini. Mengetahui agen mana yang bertindak dan apa yang boleh dilakukannya menjadi titik awal untuk menetapkan akuntabilitas.

Mengapa Tata Kelola yang Lebih Baik Dapat Membuka Jalan bagi Otomatisasi yang Lebih Luas

Peluangnya lebih besar daripada sekadar mengurangi potensi kerugian. Bayangkan sebuah perusahaan yang sedang memutuskan apakah agen hanya boleh merekomendasikan pembelian atau boleh melakukannya sendiri.

Jika manajer tidak dapat menyelidiki keputusan atau menetapkan tanggung jawab, mereka mungkin akan mempertahankan peninjauan manual secara ekstensif. Hal ini membatasi manfaat produktivitas. Catatan yang lebih baik, kewenangan yang jelas, dan mekanisme eskalasi yang andal dapat membuat penerapan yang lebih luas dapat diterima.

Ini menunjukkan adanya sumber nilai kedua: perangkat tata kelola dapat membantu mengubah agen yang cakap secara teknis menjadi sistem yang bersedia digunakan oleh perusahaan. Ini merupakan kesimpulan ekonomi, bukan hasil yang diukur oleh makalah tersebut.

Survei tata kelola AI di perusahaan yang disponsori IBM pada Oktober 2026 menggambarkan kesenjangan dalam penerapan. Dari 3.221 eksekutif senior yang disurvei di delapan negara di Eropa dan Timur Tengah, 35% menyatakan telah menjalankan AI berbasis agen di lingkungan produksi, sementara hanya 37% yang mengatakan bahwa sistem tata kelola mereka dirancang agar dapat mengikuti perluasan penerapan AI berbasis agen.

Temuan ini berasal dari jawaban responden dalam penelitian yang disponsori vendor tata kelola, bukan dari pengukuran independen atas keamanan teknis. Meski demikian, temuan tersebut menunjukkan masalah praktis dalam pembelian: menerapkan agen dan mengawasinya merupakan dua kemampuan yang berbeda.

Transparansi Dapat Menjadi Keunggulan dalam Pengadaan

Jika dua agen memiliki kinerja serupa, pembeli dapat memilih pemasok yang memudahkan penyelidikan insiden. Hal ini membuka peluang persaingan dalam hal mutu bukti, integrasi, dan akuntabilitas, selain akurasi model.

Pembahasan Securities.io tentang AI yang dapat dijelaskan dalam peramalan pasar menyoroti perbedaan terkait: memahami perilaku model memiliki nilai diagnostik, sekalipun hal itu tidak membuktikan bahwa kinerjanya menguntungkan.

Untuk agen perusahaan, hal ini dapat diwujudkan dalam kontrak yang menetapkan akses ke catatan, kerja sama dalam penanganan insiden, dan tanggung jawab persetujuan. Ketentuan seperti itu tidak akan menjawab setiap pertanyaan tentang tanggung jawab hukum, tetapi dapat mengurangi ketidakpastian sebelum penerapan.

Kompromi antara Akuntabilitas dan Persaingan

Makalah tersebut mengakui bahwa persyaratan keterjelasan dapat menimbulkan biaya yang tidak sebanding bagi pengembang kecil. Perusahaan yang lebih besar mungkin lebih mudah membiayai pembandingan kinerja, audit, dan tim spesialis.

Salah satu kemungkinan dampaknya adalah meningkatnya ketergantungan pada platform tata kelola yang sudah mapan. Kemungkinan lainnya adalah meningkatnya permintaan akan standar bersama dan perangkat terjangkau yang memungkinkan pemasok kecil menunjukkan perlindungan setara.

Mutu standar tersebut penting. Model ini mengasumsikan bahwa pembandingan keterjelasan dapat diverifikasi secara sempurna, padahal audit di dunia nyata dapat menghasilkan penilaian yang berbeda-beda dan kepatuhan yang hanya bersifat dangkal tetap mungkin terjadi. Model ini juga mengasumsikan bahwa keterjelasan mengurangi kemungkinan terjadinya bahaya, hubungan yang menurut para penulis masih perlu diuji lebih lanjut.

Karena itu, dokumentasi yang lebih baik tidak boleh dianggap sebagai bukti bahwa perilaku sistem lebih aman. Evaluasi yang bermanfaat akan menelaah apakah penjelasan membantu mengidentifikasi penyebab, memperbaiki kegagalan, dan mencegah terulangnya masalah.

Peran IBM dalam Tata Kelola AI di Perusahaan

Kebutuhan penerapan ini menjadi penghubung yang wajar dengan IBM bagi investor yang tertarik pada perusahaan pembangun infrastruktur untuk AI di perusahaan.

Pembaruan watsonx.governance pada Oktober 2026 dari IBM memperluas penemuan agen dan menghubungkan metrik evaluasi operasional dengan kontrol tata kelola. Integrasi dengan Langfuse dan Arize memasukkan informasi pemantauan ke dalam catatan tata kelola, sedangkan integrasi dengan watsonx Orchestrate menghubungkan kontrol yang ditetapkan dengan bukti penegakan saat sistem berjalan.

Kemampuan ini menangani beberapa aspek masalah pembuktian praktis. Namun, kemampuan tersebut tidak membuktikan bahwa IBM memenuhi tolok ukur hukum yang diusulkan dalam makalah itu ataupun bahwa pelanggan memperoleh perlindungan dari tanggung jawab hukum.

Potensi keunggulan komersialnya terletak pada bantuan untuk mengelola agen di berbagai sistem yang sudah digunakan perusahaan. Jika tata kelola menjadi syarat untuk memperluas otomatisasi, permintaan dapat mendukung langganan perangkat lunak dan pekerjaan implementasi.

Bagi investor, pertanyaan berikutnya adalah apakah permintaan tersebut menghasilkan pendapatan yang berkelanjutan dan margin yang menarik. Sinyal yang relevan mencakup adopsi oleh pelanggan, ekspansi di luar proyek percontohan, serta bukti bahwa kapabilitas tata kelola memengaruhi keputusan pembelian. IBM memberikan eksposur terhadap tema ini melalui bisnisnya yang lebih luas, sehingga keberhasilan dalam tata kelola AI saja tidak akan menentukan kinerja investasinya.

Berita dan Perkembangan Terbaru IBM (IBM)

Keterjelasan sebagai Landasan AI Komersial

Makalah ini menawarkan kerangka untuk memberi penghargaan kepada pengembang yang membuat kegagalan tak terduga lebih mudah dipahami. Kontribusi praktisnya mengangkat pertanyaan tentang insentif: bagaimana akuntabilitas dapat mendorong investasi dalam sistem yang lebih baik?

Bagi perusahaan, peluangnya adalah membuat otonomi lebih mudah dievaluasi dan diterapkan. Bagi pemasok teknologi, peluangnya adalah menyediakan bukti yang tetap berguna ketika keputusan dipertanyakan. Penawaran komersial terkuat akan memadukan agen yang andal dengan kontrol dan catatan yang benar-benar dapat dipercaya pelanggan.

Referensi:

¹ Papyshev, G., Chan, K. J. D., dan Migliorini, S. (2026). Tanggung jawab atas perilaku menyimpang AI berbasis agen. Telecommunications Policy, 50, Artikel 103339. https://doi.org/10.1016/j.telpol.2026.103339