Daniel Wagner, Direktør for Produkt og Engineering hos Q2 – Interviewserie

Daniel Wagner, Direktør for Produkt og Engineering hos Q2, er en erfaren teknolog- og produktleder med en baggrund inden for kunstig intelligens, maskinlæring, dataplatforme, digital bankvirksomhed og levering af virksomhedssoftware. Før han sluttede sig til Q2 gennem opkøbet af Sensibill, tilbragte Wagner mere end et årti hos Sensibill, hvor han avancerede gennem ledelsesroller inklusive Delivery Manager, Delivery Director, Director of Engineering og VP of Engineering. Han ledede Data- og AI-teams, der udviklede maskinlæringsprojekter, havde ansvar for mobile løsninger for store finansielle institutioner, og senest ledte han engineering for en kundedataplatform med fokus på dataforøgelse og indsigt. Tidligere i sin karriere var Wagner medstifter og administrerende direktør for den brasilianske afdeling af Itelios, et applikationsudviklingsfirma, der senere blev opkøbt af Capgemini, efter at han startede sin karriere som softwareingeniør. Q2 opkøbte Sensibill i 2022 for at styrke sine data- og maskinlæringskapaciteter for finansielle institutioner.

Q2 er en finansiel teknologivirksomhed, der leverer digitale bank- og låneløsninger til banker, kreditforeninger, fintech-virksomheder og alternative finansieringsudbydere. Platformen dækker forbruger-, lille virksomhed- og erhvervsbankvirksomhed samt digital onboarding, indlejret finans, relationsprissætning, risikostyring og svindelbekæmpelse samt datadrevet personalisering. Q2 integrerer i stigende grad AI i sit produktportefølje, herunder værktøjer designet til at forbedre bankmedarbejderes produktivitet, opdage svigagtig aktivitet, personalisere kontoindehaveres oplevelser og hjælpe finansielle institutioner med at træffe hurtigere, datadrevne beslutninger. Virksomheden betjener mere end 1.000 finansielle institutioner i sin bredere portefølje og positionerer sin teknologi som et infrastrukturlag, der hjælper finansielle institutioner med at modernisere og udvide deres digitale tjenester.

Dit arbejde hos Q2 har fokuseret på cybersikkerhed og hvordan organisationer forbereder sig på og kommer sig efter sikkerhedshændelser. Efterhånden som finansielle institutioner begynder at implementere AI‑agenter, der kan udføre handlinger i stedet for blot at analysere information, hvilke nye sikkerhedsrisici bekymrer dig mest?

Cybersikkerhed og svindelbekæmpelse adresserer forskellige dele af problemet. Cybersikkerhed er ansvarlig for at “sikre perimeteren”, herunder at sikre, at kontoadgangen er beskyttet, og at den underliggende software er solid. Mit arbejde tager fat, når nogen allerede er kommet igennem den perimeter, og fokuserer på at fastslå, om de er, hvem de påstår at være.

Med fremkomsten af AI‑agenter er personen, der går gennem døren, en delegeret agent, der handler på vegne af en anden. Den risiko, jeg er mest bekymret for, er prompt‑injektion. Det er, når en svindler manipulerer en legitim brugers agent til at udføre handlinger, som brugeren aldrig har autoriseret, og som ikke tjener brugerens interesser. Det er en ny svindelfront, der kan skabe udfordringer med at opdage.

Banker har traditionelt bygget identitets- og adgangsstyringssystemer omkring personer, applikationer og servicekonti. Skal en AI‑agent nu behandles som en særskilt identitet, og hvad vil det betyde i praksis?

Den klareste analogi kommer fra erhvervsbankvirksomhed, hvor delegeret adgang allerede er en moden disciplin. Virksomheder giver rutinemæssigt medarbejdere begrænset adgang til at håndtere specifikke opgaver, såsom at se saldoer, uden at give den fulde autoritet som kontoejeren.

Finansielle institutioner bør anvende den samme ramme på AI‑agenter. En agent bør behandles som en virksomhed behandler en menneskelig assistent, en særskilt identitet med en defineret, begrænset rolle. Det betyder at opbygge identitets- og adgangsstyring omkring snævert afgrænsede agenttilladelser fra starten, i stedet for at give agenter samme status som kontoejeren.

Når en AI‑agent handler på vegne af en medarbejder eller kunde, hvordan skal en bank præcist bestemme, hvilke data den kan tilgå, hvilke konti den kan interagere med, og hvilke finansielle handlinger den har tilladelse til at udføre?

Start med kun læseadgang som standard. Bankverdenen har allerede infrastrukturen til at understøtte dette niveau af granularitet, primært fordi erhvervsbankvirksomhed har krævet det i årevis. Finansielle institutioner har mulighed for at være meget præcise omkring, hvad en agent kan se og gøre.

At initiere en transaktion og at godkende en kan behandles som separate tilladelser, og begge kan yderligere afgrænses efter beløb eller transaktionstype. Mange institutioner benytter allerede to‑personers godkendelsescyklus for erhvervskonti, og den samme arbejdsgang kan naturligt udvides til agenter. En agent kan initiere en handling, men den endelige godkendelse bør forblive hos kontoejeren, så en person er involveret i alt ud over blot at se information.

Least‑privilege‑adgang bliver mere kompliceret, når en agent kan have brug for at udføre dusinvis af trin på tværs af flere systemer for at fuldføre en opgave. Hvordan kan finansielle institutioner give agenter tilstrækkelig autoritet til at være nyttige uden at give dem overdrevne tilladelser?

Der behøver ikke at blive flyttet penge for at en agent skal være nyttig. Størstedelen af værdien, en agent leverer, kommer fra at hente og organisere information, såsom at tjekke saldoer, spore forbrug eller spotte tendenser. Det kræver ikke forhøjede tilladelser og er i høj grad grunden til, at folk logger ind på deres konti i første omgang. Alt, der går ud over dette, såsom at flytte penge eller ændre kontodetaljer, hører til i et separat, strammere kontrolleret lag af autoritet.

Svindelsystemer er designet til at identificere mistænkelig menneskelig adfærd, såsom usædvanlige login‑ eller transaktionsmønstre. Hvordan skal svindeldetektion udvikles, når legitime AI‑agenter selv kan operere med maskinhastighed og udvise adfærd, der ville fremstå unormal for en menneskelig bruger?

Nogle eksisterende kontroller er stærkt afhængige af transaktionshastighed som et signal. Disse signaler skal justeres for en verden, hvor legitime agenter også kan handle hurtigt. Det sagt, er de fleste af vores adfærdssignaler, som ser på, hvad der er normalt for en given bruger og en given betalingsmodtager, stadig relevante for at fange svindel. Finansielle institutioner kan evaluere adfærd ud over at kontrollere identitet.

I fremtiden vil finansielle institutioner have brug for muligheden for at justere detektionsfølsomheden op eller ned afhængigt af kontekst, samt have de nødvendige tilladelser og logning på plads for at skelne mellem en legitim brugers agent og en, der drives af en svindler.

Hvad sker der, hvis en angriber kompromitterer en AI‑agent, manipulerer dens instruktioner eller får den til at udføre en uautoriseret handling? Hvilke signaler kan hjælpe en finansiel institution med at skelne en legitim autonom handling fra en kompromitteret?

I dette scenarie gør en agent noget, brugeren aldrig har bedt den om, ofte som resultat af et prompt‑injektionsangreb. Dog ændrer det grundlæggende detektionsprincip sig ikke. Vi ser stadig på adfærd. En handling, der falder uden for en brugers etablerede mønstre, er et signal, der bør flagges, uanset om en menneske eller en agent initierede den.

Pengetransaktioner udgør et særligt risikabelt anvendelsesområde. Hvor bør banker opretholde obligatorisk menneskelig godkendelse, og er der transaktionstyper eller beløbsgrænser, hvor du mener, at autonome agenter ikke bør have lov til at handle uafhængigt?

Ja, grænser er nødvendige. Som nævnt tidligere giver erhvervsbankvirksomhed et præcedens, der let kan tilpasses til AI‑agenter. Midlertidige godkendelser kan tillade en agent at initiere en handling, men et menneske skal stadig gennemgå og godkende den, før den færdiggøres.

I praksis betyder det at fastsætte grænser både for værdien af enkelte overførsler og antallet af overførsler, en agent kan initiere inden for en given periode. Obligatorisk menneskelig godkendelse bør ikke kun begrænses til pengetransaktioner. For eksempel kan ændring af betalingsoplysninger for en etableret, betroet betalingsmodtager være lige så risikabelt som at flytte penge.

AI‑agenter kan i stigende grad interagere med andre agenter, der drives af fintech‑virksomheder, leverandører, kunder eller andre finansielle institutioner. Hvordan udvider dette tredjepartsrisikoen, og hvordan kan en bank etablere tillid, når den måske ikke kontrollerer hver enkelt agent, der deltager i en finansiel arbejdsgang?

Der er to scenarier, der er værd at nævne her. Det første er, at brugeren giver en agent adgang til sin konto. Denne agent handler på vegne af brugeren og under brugerens autoritet. Hvis de tillader, at agenten arbejder under en Agent‑til‑Agent‑protokol og følger andre agenters instruktioner, så er det brugeren, der påtager sig den risiko. Alt foregår under deres autorisation, og bankerne vil ikke forsøge at udvide deres ansvar.

Risikoprofilen ændres, når en institution bygger eller driver sin egen proprietære agent specifikt for sin bank. På det tidspunkt påtager institutionen sig direkte ansvar for agentens adfærd, hvilket er anderledes end at ære en anden parts delegerede adgang. Finansielle institutioner vil skulle udføre due diligence på enhver tredjepartsagent, de tillader ind i en arbejdsgang, men noget af dette ansvar skubbes i sidste ende tilbage til slutbrugeren. Kundens “kontrolcirkel” definerer, hvor langt institutionens forpligtelse strækker sig.

Hvis en autoriseret AI‑agent træffer en forkert beslutning, der resulterer i et økonomisk tab, datalæk eller svigagtig transaktion, hvordan bør ansvaret fordeles mellem den medarbejder, der delegerede opgaven, den finansielle institution, teknologileverandøren og agentens underliggende model?

Reg E, den føderale regel, der regulerer forbrugerbeskyttelse for elektroniske transaktioner, gælder stadig her. Den fastsætter grænser for svindelansvar og undersøgelseskrav, som bankerne opererer under. På grund af Reg E forsvinder ikke en finansiel institutions forpligtelse til at undersøge en omtvistet transaktion.

Det, der ændrer sig, er spørgsmålet om underliggende ansvar. Hvis en bruger bevidst har delegeret adgang til en agent, og den agent træffer en forkert beslutning, ser institutionens forpligtelse til at kompensere brugeren for det pågældende tab anderledes ud end ved uautoriseret tredjepartssvindel.

I praksis betyder delegationen af den autoritet, at brugeren accepterer en del af den risiko, der følger med. Institutionen vil ikke påtage sig ansvar, der tilhører kontoejeren, blot fordi fejlen blev begået af software frem for en person.

Set fremad, hvilke sikkerheds- og governance‑fundamenter bør banker og kreditforeninger etablere i dag, før de tillader AI‑agenter større autonomi over følsomme data, kundekonti og finansielle transaktioner?

Den største mulighed er at overføre den governance‑model, der allerede findes i erhvervsbankvirksomhed, til privatbankvirksomhed. Erhvervskonti har årtiers præcedens inden for granulære tilladelser, delegeret adgang og godkendelsesarbejdsgange, som er bygget til netop dette scenarie.

I stedet for at bygge en helt ny ramme for agent‑governance, bør banker og kreditforeninger se på, hvad der allerede er bevist at fungere på erhvervssiden, og tilpasse de samme kontroller, tilladelsesniveauer og godkendelsesstrukturer til privatkonti.

Tak for det gode interview, læsere der ønsker at lære mere, bør besøge Q2.