Daniel Wagner, Direktur Produk dan Rekayasa di Q2 – Seri Wawancara

Daniel Wagner, Direktur Produk dan Rekayasa di Q2, adalah seorang pemimpin teknologi dan produk berpengalaman dengan latar belakang yang mencakup kecerdasan buatan, pembelajaran mesin, platform data, perbankan digital, dan penyampaian perangkat lunak perusahaan. Sebelum bergabung dengan Q2 melalui akuisisi Sensibill, Wagner menghabiskan lebih dari satu dekade di Sensibill, naik jabatan melalui peran kepemimpinan termasuk Delivery Manager, Delivery Director, Director of Engineering, dan VP of Engineering. Ia memimpin tim Data dan AI yang mengembangkan proyek pembelajaran mesin, mengawasi solusi seluler untuk lembaga keuangan besar, dan baru-baru ini memimpin rekayasa platform data pelanggan yang berfokus pada pengayaan data dan wawasan. Pada awal kariernya, Wagner ikut mendirikan dan menjabat sebagai CEO operasi Brasil dari Itelios, sebuah perusahaan pengembangan aplikasi yang kemudian diakuisisi oleh Capgemini, setelah memulai kariernya sebagai insinyur perangkat lunak. Q2 mengakuisisi Sensibill pada tahun 2022 untuk memperkuat kemampuan data dan pembelajaran mesin bagi lembaga keuangan.

Q2 adalah perusahaan teknologi keuangan yang menyediakan solusi perbankan digital dan pinjaman untuk bank, koperasi kredit, perusahaan fintech, dan penyedia keuangan alternatif. Platformnya mencakup perbankan konsumen, usaha kecil, dan komersial, serta onboarding digital, keuangan terintegrasi, penetapan harga berbasis hubungan, manajemen risiko dan penipuan, serta personalisasi berbasis data. Q2 semakin mengintegrasikan AI ke seluruh portofolio produknya, termasuk alat yang dirancang untuk meningkatkan produktivitas banker, mendeteksi aktivitas penipuan, mempersonalisasi pengalaman pemegang akun, dan membantu lembaga keuangan membuat keputusan yang lebih cepat dan berbasis data. Perusahaan ini melayani lebih dari 1.000 lembaga keuangan dalam portofolio yang lebih luas dan memposisikan teknologinya sebagai lapisan infrastruktur untuk membantu lembaga keuangan memodernisasi serta memperluas layanan digital mereka.

Kerja Anda di Q2 berfokus pada ketahanan siber dan bagaimana organisasi mempersiapkan serta pulih dari insiden keamanan. Seiring lembaga keuangan mulai menerapkan agen AI yang dapat mengambil tindakan bukan sekadar menganalisis informasi, risiko keamanan baru apa yang paling mengkhawatirkan Anda?

Keamanan siber dan mitigasi penipuan menangani bagian yang berbeda dari masalah. Keamanan siber bertanggung jawab untuk “mengamankan perimeter,” termasuk memastikan akses akun terlindungi, dan perangkat lunak dasarnya aman. Pekerjaan saya melanjutkan dari sana, setelah seseorang berhasil melewati perimeter tersebut, dan berfokus pada menentukan apakah mereka memang orang yang mereka klaim.

Dengan munculnya agen AI, orang yang melewati pintu itu adalah agen yang didelegasikan yang bertindak atas otoritas orang lain. Risiko yang paling saya khawatirkan adalah injeksi prompt. Ini terjadi ketika penipu memanipulasi agen pengguna yang sah untuk melakukan tindakan yang tidak pernah diotorisasi pengguna, dan tidak melayani kepentingan pengguna tersebut. Ini merupakan frontier baru penipuan yang dapat menimbulkan tantangan dalam deteksi.

Bank secara tradisional membangun sistem manajemen identitas dan akses di sekitar orang, aplikasi, dan akun layanan. Haruskah agen AI kini diperlakukan sebagai identitas terpisah, dan apa implikasinya dalam praktik?

Analogi paling jelas datang dari perbankan bisnis, di mana akses delegasi sudah menjadi disiplin yang matang. Bisnis secara rutin memberikan karyawan akses terbatas untuk menangani tugas tertentu, seperti melihat saldo, tanpa memberikan otoritas penuh pemilik akun.

Lembaga keuangan harus menerapkan kerangka kerja yang sama pada agen AI. Sebuah agen harus diperlakukan seperti bisnis memperlakukan asisten manusia, yaitu identitas terpisah dengan peran yang terdefinisi dan terbatas. Itu berarti membangun manajemen identitas dan akses di sekitar izin agen yang sangat sempit sejak awal, alih-alih memberikan agen kedudukan yang sama dengan pemilik akun.

Ketika agen AI bertindak atas nama karyawan atau nasabah, bagaimana bank harus menentukan secara tepat data apa yang dapat diaksesnya, akun mana yang dapat berinteraksi, dan tindakan keuangan apa yang diizinkannya?

Mulailah dengan akses hanya-baca sebagai default. Perbankan sudah memiliki infrastruktur untuk mendukung tingkat granularitas ini, terutama karena perbankan bisnis telah memerlukannya selama bertahun‑tahun. Lembaga keuangan memiliki kemampuan untuk sangat tepat mengenai apa yang dapat dilihat dan dilakukan oleh sebuah agen.

Memulai transaksi dan menyetujuinya dapat diperlakukan sebagai izin terpisah, dan keduanya dapat dibatasi lebih lanjut berdasarkan jumlah uang atau jenis transaksi. Banyak institusi sudah mengandalkan siklus persetujuan dua orang untuk akun bisnis, dan alur kerja yang sama secara alami dapat diperluas ke agen. Sebuah agen dapat memulai sebuah tindakan, tetapi persetujuan akhir harus tetap berada di tangan pemilik akun, menjaga kehadiran manusia untuk segala hal di luar sekadar melihat informasi.

Akses prinsip paling rendah menjadi lebih rumit ketika sebuah agen mungkin perlu melakukan puluhan langkah di berbagai sistem untuk menyelesaikan tugas. Bagaimana lembaga keuangan dapat memberikan agen cukup wewenang untuk berguna tanpa memberikan izin berlebih?

Tidak ada uang yang perlu dipindahkan agar agen berguna.  Sebagian besar nilai yang diberikan agen berasal dari pengambilan dan pengorganisasian informasi, seperti memeriksa saldo, melacak pengeluaran, atau mengidentifikasi tren. Itu tidak memerlukan izin yang ditingkatkan dan merupakan alasan utama mengapa orang masuk ke akun mereka. Apa pun yang melampaui itu, seperti memindahkan uang atau mengubah detail akun, harus berada di tingkat otoritas yang terpisah dan lebih ketat.

Sistem penipuan dirancang untuk mengidentifikasi perilaku manusia yang mencurigakan, seperti login tidak biasa atau pola transaksi aneh. Bagaimana deteksi penipuan harus berkembang ketika agen AI yang sah dapat beroperasi pada kecepatan mesin dan menunjukkan perilaku yang akan tampak abnormal bagi pengguna manusia?

Beberapa kontrol yang ada memang sangat bergantung pada kecepatan transaksi sebagai sinyal. Sinyal‑sinyal tersebut perlu dikalibrasi ulang untuk dunia di mana agen sah juga dapat bergerak cepat. Namun, sebagian besar sinyal perilaku kami, yang melihat apa yang normal bagi pengguna tertentu dan penerima tertentu, tetap relevan untuk menangkap penipuan. Lembaga keuangan dapat mengevaluasi perilaku selain memeriksa identitas.

Di masa depan, lembaga keuangan akan memerlukan kemampuan untuk menyesuaikan sensitivitas deteksi naik atau turun tergantung pada konteks, serta memiliki izin dan pencatatan yang memadai untuk membedakan agen pengguna sah dari agen yang dioperasikan oleh penipu.

Apa yang terjadi jika seorang penyerang mengkompromikan agen AI, memanipulasi instruksinya, atau menipu agen tersebut untuk melakukan tindakan tidak sah? Sinyal apa yang dapat membantu lembaga keuangan membedakan tindakan otonom yang sah dari yang telah dikompromikan?

Dalam skenario ini, agen melakukan sesuatu yang tidak pernah diminta pengguna, biasanya sebagai hasil serangan injeksi prompt. Namun, pendekatan deteksi tidak berubah secara fundamental. Kami tetap melihat perilaku. Tindakan yang berada di luar pola yang telah ditetapkan pengguna merupakan sinyal yang layak ditandai, terlepas dari apakah yang memulainya manusia atau agen.

Pergerakan uang merupakan kasus penggunaan yang sangat berisiko. Di mana bank harus mempertahankan persetujuan manusia wajib, dan apakah ada jenis transaksi atau ambang nilai dolar di mana Anda percaya agen otonom tidak boleh bertindak secara independen?

Ya, batasan diperlukan. Seperti yang disebutkan sebelumnya, perbankan bisnis menawarkan preseden yang dapat dengan mudah diadaptasi untuk agen AI. Persetujuan sementara dapat memungkinkan agen memulai tindakan, tetapi manusia tetap harus meninjau dan menyetujuinya sebelum final.

Dalam praktiknya, itu berarti menetapkan ambang pada nilai transfer individu serta jumlah transfer yang dapat dimulai agen dalam periode tertentu. Persetujuan manusia wajib tidak hanya terbatas pada pergerakan uang. Misalnya, mengubah detail pembayaran untuk penerima yang sudah terpercaya dapat sama berisikonya dengan memindahkan dana.

Agen AI mungkin semakin berinteraksi dengan agen lain yang dioperasikan oleh fintech, vendor, nasabah, atau lembaga keuangan lain. Bagaimana hal ini memperluas risiko pihak ketiga, dan bagaimana bank dapat membangun kepercayaan ketika mereka tidak mengontrol setiap agen yang berpartisipasi dalam alur kerja keuangan?

Ada dua skenario yang patut disorot di sini. Yang pertama adalah pengguna memberikan agen akses ke akunnya. Agen ini bertindak atas nama pengguna, dan berada di bawah otoritas pengguna tersebut. Jika mereka mengizinkan agen tersebut bekerja dalam protokol Agen-ke-Agen, dan bekerja di bawah arahan agen lain, maka risiko berada pada pengguna. Semua terjadi di bawah otorisasi mereka, dan bank tidak akan memperluas tanggung jawabnya.

Profil risiko berubah ketika sebuah institusi membangun atau mengoperasikan agen proprietari khusus untuk banknya. Pada titik itu, institusi mengambil tanggung jawab langsung atas perilaku agen tersebut, yang berbeda dari menghormati akses delegasi pihak lain. Lembaga keuangan harus melakukan uji tuntas pada setiap agen pihak ketiga yang mereka izinkan masuk ke alur kerja, tetapi sebagian tanggung jawab itu pada akhirnya kembali kepada pengguna akhir. “Lingkaran kontrol” pelanggan menentukan sejauh mana kewajiban institusi meluas.

Jika agen AI yang berwenang membuat keputusan yang salah yang mengakibatkan kerugian finansial, paparan data, atau transaksi penipuan, bagaimana akuntabilitas harus dibagi antara karyawan yang mendelegasikan tugas, lembaga keuangan, penyedia teknologi, dan model dasar agen?

Reg E, peraturan federal yang mengatur perlindungan konsumen untuk transaksi elektronik, tetap berlaku di sini. Ia menetapkan batas tanggung jawab penipuan dan persyaratan investigasi yang dijalankan bank. Karena Reg E, kewajiban lembaga keuangan untuk menyelidiki transaksi yang dipersengketakan tidak menghilang.

Yang berubah adalah pertanyaan tentang tanggung jawab dasar. Jika seorang pengguna secara sadar mendelegasikan akses ke agen dan agen tersebut membuat keputusan yang salah, kewajiban institusi untuk mengganti kerugian pengguna berbeda dengan kasus penipuan pihak ketiga yang tidak sah.

Secara efektif, mendelegasikan otoritas berarti pengguna menerima sebagian risiko yang menyertainya. Institusi tidak akan mengambil alih tanggung jawab yang menjadi milik pemilik akun hanya karena kesalahan dibuat oleh perangkat lunak bukan oleh orang.

Ke depan, fondasi keamanan dan tata kelola apa yang harus dibangun bank dan koperasi kredit hari ini sebelum mengizinkan agen AI memiliki otonomi lebih besar atas data sensitif, akun nasabah, dan transaksi keuangan?

Kesempatan terbesar adalah membawa model tata kelola yang sudah ada di perbankan bisnis ke perbankan pribadi. Akun bisnis memiliki bertahun‑tahun preseden dalam izin granular, akses delegasi, dan alur persetujuan yang dibangun khusus untuk skenario semacam ini.

Alih‑alih membangun kerangka kerja baru sepenuhnya untuk tata kelola agen, bank dan koperasi kredit sebaiknya melihat apa yang sudah terbukti berhasil di sisi bisnis dan mengadaptasi kontrol, tingkatan izin, serta struktur persetujuan yang sama untuk akun pribadi.

Terima kasih atas wawancara yang luar biasa, pembaca yang ingin mempelajari lebih lanjut dapat mengunjungi Q2.