Daniel Wagner, Direttore di Prodotto e Ingegneria presso Q2 – Serie di Interviste

Daniel Wagner, Direttore di Prodotto e Ingegneria presso Q2, è un leader esperto di tecnologia e prodotto con un background che spazia dall’intelligenza artificiale, al machine learning, alle piattaforme dati, al banking digitale e alla consegna di software aziendale. Prima di entrare in Q2 tramite l’acquisizione di Sensibill, Wagner ha trascorso più di un decennio in Sensibill, avanzando in ruoli di leadership tra cui Delivery Manager, Delivery Director, Director of Engineering e VP of Engineering. Ha guidato i team Data e AI nello sviluppo di progetti di machine learning, ha supervisionato soluzioni mobili per importanti istituzioni finanziarie e, più recentemente, ha guidato l’ingegneria di una piattaforma dati cliente focalizzata sull’arricchimento e sull’analisi dei dati. All’inizio della sua carriera, Wagner ha co-fondato e ricoperto il ruolo di CEO delle operazioni brasiliane di Itelios, una società di sviluppo applicazioni successivamente acquisita da Capgemini, dopo aver iniziato come ingegnere del software. Q2 ha acquisito Sensibill nel 2022 per rafforzare le sue capacità di dati e machine learning per le istituzioni finanziarie.

Q2 è una società di tecnologia finanziaria che fornisce soluzioni di banking digitale e prestito a banche, cooperative di credito, società fintech e fornitori di finanza alternativa. La sua piattaforma copre il banking consumer, per piccole imprese e commerciale, oltre a onboarding digitale, finanza incorporata, pricing relazionale, gestione del rischio e delle frodi, e personalizzazione basata sui dati. Q2 sta integrando sempre più l’IA nel suo portafoglio prodotti, inclusi strumenti progettati per migliorare la produttività dei banchieri, rilevare attività fraudolente, personalizzare le esperienze dei titolari di conto e aiutare le istituzioni finanziarie a prendere decisioni più rapide e basate sui dati. L’azienda serve più di 1.000 istituzioni finanziarie nel suo ampio portafoglio e posiziona la sua tecnologia come uno strato infrastrutturale per aiutare le istituzioni finanziarie a modernizzare ed espandere i loro servizi digitali.

Il tuo lavoro in Q2 si è concentrato sulla resilienza cyber e su come le organizzazioni si preparano e si riprendono dagli incidenti di sicurezza. Man mano che le istituzioni finanziarie iniziano a distribuire agenti IA che possono compiere azioni anziché limitarsi ad analizzare informazioni, quali nuovi rischi di sicurezza ti preoccupano di più?

La cybersecurity e la mitigazione delle frodi affrontano parti diverse del problema. La cybersecurity è responsabile di “mettere in sicurezza il perimetro”, inclusa la protezione dell’accesso ai conti e la solidità del software sottostante. Il mio lavoro parte da lì, una volta che qualcuno è già oltre quel perimetro, e si concentra nel determinare se è chi dice di essere.

Con l’ascesa degli agenti IA, la persona che attraversa quella porta è un agente delegato che agisce con l’autorità di qualcun altro. Il rischio che mi preoccupa di più è il “prompt injection”. Si verifica quando un truffatore manipola l’agente di un utente legittimo inducendolo a compiere azioni che l’utente non ha mai autorizzato e che non servono gli interessi di quell’utente. È una nuova frontiera della frode che può creare difficoltà di rilevamento.

Le banche hanno tradizionalmente costruito sistemi di gestione dell’identità e degli accessi intorno a persone, applicazioni e account di servizio. Un agente IA dovrebbe ora essere trattato come un’identità distinta a sé stante, e cosa significherebbe questo nella pratica?

L’analogia più chiara proviene dal banking aziendale, dove l’accesso delegato è già una disciplina matura. Le aziende concedono regolarmente ai dipendenti un accesso limitato per gestire compiti specifici, come visualizzare i saldi, senza conferire l’intera autorità del proprietario del conto.

Le istituzioni finanziarie dovrebbero applicare lo stesso quadro agli agenti IA. Un agente dovrebbe essere trattato come un’azienda tratta un assistente umano, ovvero un’identità distinta con un ruolo definito e limitato. Ciò significa costruire la gestione dell’identità e degli accessi attorno a permessi di agente strettamente delimitati fin dall’inizio, piuttosto che concedere agli agenti lo stesso livello di autorità del proprietario del conto.

Quando un agente IA agisce per conto di un dipendente o di un cliente, come dovrebbe una banca determinare esattamente a quali dati può accedere, con quali conti può interagire e quali azioni finanziarie è autorizzato a eseguire?

Iniziare con l’accesso in sola lettura come impostazione predefinita. Il banking dispone già dell’infrastruttura per supportare questo livello di granularità, in gran parte perché il banking aziendale lo richiede da anni. Le istituzioni finanziarie hanno la capacità di essere molto precise su ciò che un agente può vedere e fare.

Iniziare una transazione e approvarla può essere considerato come permessi separati, e entrambi possono essere ulteriormente limitati per importo in dollari o tipo di transazione. Molte istituzioni si affidano già a cicli di approvazione a due persone per i conti aziendali, e quel flusso di lavoro si estende naturalmente agli agenti. Un agente può avviare un’azione, ma l’approvazione finale dovrebbe rimanere al titolare del conto, mantenendo una persona nel processo per tutto ciò che va oltre la semplice visualizzazione delle informazioni.

L’accesso con il principio del minimo privilegio diventa più complicato quando un agente deve eseguire decine di passaggi su più sistemi per completare un compito. Come possono le istituzioni finanziarie concedere agli agenti un’autorità sufficiente per essere utili senza attribuire loro permessi eccessivi?

Non è necessario spostare denaro perché un agente sia utile.  La maggior parte del valore fornito da un agente proviene dal recuperare e organizzare informazioni, come controllare i saldi, monitorare le spese o individuare tendenze. Questo non richiede permessi elevati ed è in gran parte il motivo per cui le persone accedono ai loro conti. Qualsiasi cosa oltre a ciò, come trasferire denaro o modificare i dettagli del conto, appartiene a un livello di autorità separato e più strettamente controllato.

I sistemi antifrode sono progettati per identificare comportamenti umani sospetti, come accessi inusuali o schemi di transazione. Come deve evolvere il rilevamento delle frodi quando gli agenti IA legittimi operano a velocità di macchina e mostrano comportamenti che apparirebbero anormali per un utente umano?

Alcuni controlli esistenti si basano fortemente sulla velocità delle transazioni come segnale. Quei segnali dovranno essere ricalibrati per un mondo in cui gli agenti legittimi possono muoversi rapidamente. Detto ciò, la maggior parte dei nostri segnali comportamentali, che osservano ciò che è normale per un determinato utente e un determinato beneficiario, rimane rilevante per individuare le frodi. Le istituzioni finanziarie possono valutare il comportamento oltre a verificare l’identità.

In futuro, le istituzioni finanziarie avranno bisogno della capacità di regolare la sensibilità del rilevamento in base al contesto, e di disporre dei permessi e della registrazione necessari per distinguere l’agente di un utente legittimo da quello gestito da un truffatore.

Cosa succede se un aggressore compromette un agente IA, manipola le sue istruzioni o lo induce a compiere un’azione non autorizzata? Quali segnali potrebbero aiutare un’istituzione finanziaria a distinguere un’azione autonoma legittima da una compromessa?

In questo scenario, un agente compie qualcosa che l’utente non gli ha mai chiesto, spesso a causa di un attacco di “prompt injection”. Tuttavia, l’approccio di rilevamento non cambia sostanzialmente. Guardiamo ancora al comportamento. Un’azione che si discosta dai pattern stabiliti dall’utente è un segnale che vale la pena segnalare, indipendentemente dal fatto che sia stato avviato da un umano o da un agente.

Il movimento di denaro rappresenta un caso d’uso particolarmente ad alto rischio. Dove dovrebbero le banche mantenere l’approvazione umana obbligatoria, e ci sono tipi di transazione o soglie di importo in dollari per cui ritieni che gli agenti autonomi non debbano agire indipendentemente?

Sì, i limiti sono necessari. Come accennato in precedenza, il banking aziendale offre un precedente che può essere facilmente adattato agli agenti IA. Le approvazioni temporanee possono consentire a un agente di avviare un’azione, ma un umano deve comunque rivederla e approvarla prima che sia finalizzata.

In pratica, ciò significa impostare soglie sia sul valore dei trasferimenti individuali sia sul numero di trasferimenti che un agente può avviare in un determinato periodo. L’approvazione umana obbligatoria non dovrebbe limitarsi solo al movimento di denaro. Per esempio, modificare i dettagli di pagamento per un beneficiario consolidato e fidato può essere altrettanto rischioso quanto spostare fondi.

Gli agenti IA possono interagire sempre più con altri agenti gestiti da fintech, fornitori, clienti o altre istituzioni finanziarie. Come espande questo il rischio di terze parti, e come può una banca stabilire la fiducia quando non controlla ogni agente che partecipa a un flusso di lavoro finanziario?

Ci sono due scenari degni di nota qui. Il primo è l’utente che concede a un agente l’accesso al proprio conto. Questo agente agisce per conto dell’utente, sotto l’autorità di quest’ultimo. Se l’utente permette a quell’agente di operare secondo un protocollo Agente‑a‑Agente e sotto la direzione di altri agenti, allora è l’utente ad assumersi quel rischio. Tutto avviene sotto la sua autorizzazione, e le banche non cercheranno di estendere la loro responsabilità.

Il profilo di rischio cambia quando un’istituzione costruisce o gestisce il proprio agente proprietario specifico per la sua banca. A quel punto, l’istituzione assume la responsabilità diretta del comportamento di quell’agente, il che è diverso dal rispettare l’accesso delegato di un’altra parte. Le istituzioni finanziarie dovranno effettuare la due diligence su qualsiasi agente di terze parti che consentono in un flusso di lavoro, ma parte di quella responsabilità alla fine ricade sull’utente finale. Il “cerchio di controllo” del cliente definisce fino a che punto si estende l’obbligo dell’istituzione.

Se un agente IA autorizzato prende una decisione errata che comporta una perdita finanziaria, una esposizione di dati o una transazione fraudolenta, come dovrebbe essere suddivisa la responsabilità tra il dipendente che ha delegato il compito, l’istituzione finanziaria, il fornitore tecnologico e il modello sottostante dell’agente?

Il Reg E, la normativa federale che regola le protezioni dei consumatori per le transazioni elettroniche, si applica ancora qui. Stabilisce i limiti di responsabilità per le frodi e i requisiti di indagine a cui le banche sono soggette. A causa del Reg E, l’obbligo di un’istituzione finanziaria di indagare su una transazione contestata non scompare.

Ciò che cambia è la questione della responsabilità sottostante. Se un utente ha delegato consapevolmente l’accesso a un agente e quell’agente prende una decisione errata, l’obbligo dell’istituzione di rimborsare l’utente per la perdita risultante appare diverso rispetto a quanto avverrebbe in caso di frode di terze parti non autorizzata.

In pratica, delegare tale autorità significa che l’utente accetta parte del rischio associato. L’istituzione non assumerà la responsabilità che spetta al proprietario del conto semplicemente perché l’errore è stato commesso dal software anziché da una persona.

Guardando al futuro, quali fondamenta di sicurezza e governance dovrebbero le banche e le cooperative di credito mettere in atto oggi prima di consentire agli agenti IA una maggiore autonomia su dati sensibili, conti dei clienti e transazioni finanziarie?

La più grande opportunità è trasferire il modello di governance già esistente nel banking aziendale al banking personale. I conti aziendali hanno anni di precedenti in termini di permessi granulari, accesso delegato e flussi di approvazione costruiti proprio per questo tipo di scenario.

Invece di costruire un intero nuovo quadro per la governance degli agenti, le banche e le cooperative di credito dovrebbero osservare ciò che ha già dimostrato di funzionare nel settore aziendale e adattare quegli stessi controlli, livelli di permesso e strutture di approvazione ai conti personali.

Grazie per la splendida intervista, i lettori che desiderano saperne di più dovrebbero visitare Q2.