Daniel Wagner, directeur produit et ingénierie chez Q2 – Série d’interviews

Daniel Wagner, directeur produit et ingénierie chez Q2, est un leader technologique et produit expérimenté avec un parcours couvrant l’intelligence artificielle, l’apprentissage automatique, les plateformes de données, la banque numérique et la livraison de logiciels d’entreprise. Avant de rejoindre Q2 grâce à son acquisition de Sensibill, Wagner a passé plus d’une décennie chez Sensibill, progressant à travers des postes de direction tels que Responsable de la livraison, Directeur de la livraison, Directeur de l’ingénierie et Vice‑président de l’ingénierie. Il a dirigé des équipes Data et IA développant des projets d’apprentissage automatique, supervisé des solutions mobiles pour de grandes institutions financières, et plus récemment dirigé l’ingénierie d’une plateforme de données client axée sur l’enrichissement des données et les insights. Au début de sa carrière, Wagner a cofondé et a été PDG des opérations brésiliennes d’Itelios, une société de développement d’applications plus tard acquise par Capgemini, après avoir commencé comme ingénieur logiciel. Q2 a acquis Sensibill en 2022 pour renforcer ses capacités de données et d’apprentissage automatique pour les institutions financières.

Q2 est une société de technologie financière qui fournit des solutions de banque numérique et de prêt aux banques, aux coopératives de crédit, aux fintechs et aux fournisseurs de financement alternatif. Sa plateforme couvre la banque grand public, les petites entreprises et la banque commerciale, ainsi que l’intégration numérique, la finance intégrée, la tarification relationnelle, la gestion des risques et de la fraude, et la personnalisation basée sur les données. Q2 intègre de plus en plus l’IA dans son portefeuille de produits, incluant des outils conçus pour améliorer la productivité des banquiers, détecter les activités frauduleuses, personnaliser l’expérience des titulaires de comptes, et aider les institutions financières à prendre des décisions plus rapides et basées sur les données. L’entreprise sert plus de 1 000 institutions financières à travers son portefeuille élargi et positionne sa technologie comme une couche d’infrastructure aidant les institutions financières à moderniser et étendre leurs services numériques.

Votre travail chez Q2 s’est concentré sur la résilience cybernétique et la manière dont les organisations se préparent et se remettent des incidents de sécurité. Alors que les institutions financières commencent à déployer des agents IA capables d’agir plutôt que de simplement analyser l’information, quels nouveaux risques de sécurité vous préoccupent le plus ?

La cybersécurité et l’atténuation de la fraude traitent différentes parties du problème. La cybersécurité est responsable de « sécuriser le périmètre », y compris de veiller à ce que l’accès aux comptes soit protégé et que le logiciel sous-jacent soit fiable. Mon travail reprend à partir de là, une fois que quelqu’un a franchi ce périmètre, et se concentre sur la détermination de son identité réelle.

Avec l’essor des agents IA, la personne qui franchit cette porte est un agent délégué agissant sous l’autorité de quelqu’un d’autre. Le risque qui m’inquiète le plus est l’injection de prompt. Il s’agit d’une situation où un fraudeur manipule l’agent d’un utilisateur légitime pour qu’il effectue des actions que l’utilisateur n’a jamais autorisées et qui ne servent pas les intérêts de cet utilisateur. C’est une nouvelle frontière de la fraude qui peut être difficile à détecter.

Les banques ont traditionnellement construit leurs systèmes de gestion d’identité et d’accès autour des personnes, des applications et des comptes de service. Un agent IA doit-il désormais être traité comme une identité distincte, et qu’est-ce que cela impliquerait concrètement ?

L’analogie la plus évidente provient de la banque d’affaires, où l’accès délégué est déjà une discipline mature. Les entreprises accordent régulièrement aux employés un accès limité pour accomplir des tâches spécifiques, comme consulter les soldes, sans donner l’entière autorité du propriétaire du compte.

Les institutions financières devraient appliquer le même cadre aux agents IA. Un agent doit être traité comme une entreprise le ferait pour un assistant humain, une identité distincte avec un rôle défini et limité. Cela signifie construire la gestion d’identité et d’accès autour de permissions d’agent très ciblées dès le départ, plutôt que d’accorder aux agents le même statut que le propriétaire du compte.

Lorsqu’un agent IA agit au nom d’un employé ou d’un client, comment une banque doit-elle déterminer exactement quelles données il peut accéder, quels comptes il peut interagir et quelles actions financières il est autorisé à exécuter ?

Commencez par un accès en lecture seule par défaut. La banque dispose déjà de l’infrastructure pour prendre en charge ce niveau de granularité, en grande partie parce que la banque d’affaires l’exige depuis des années. Les institutions financières ont la capacité d’être très précises quant à ce qu’un agent peut voir et faire.

L’initiation d’une transaction et son approbation peuvent être traitées comme des permissions distinctes, et toutes deux peuvent être restreintes davantage par montant en dollars ou type de transaction. De nombreuses institutions s’appuient déjà sur des cycles d’approbation à deux personnes pour les comptes d’entreprise, et ce même flux de travail s’étend naturellement aux agents. Un agent peut initier une action, mais l’approbation finale doit rester entre les mains du titulaire du compte, maintenant ainsi une personne dans la boucle pour tout ce qui dépasse la simple consultation d’informations.

L’accès au principe du moindre privilège devient plus compliqué lorsqu’un agent doit effectuer des dizaines d’étapes sur plusieurs systèmes pour accomplir une tâche. Comment les institutions financières peuvent-elles donner aux agents suffisamment d’autorité pour être utiles sans leur accorder des permissions excessives ?

Il n’est pas nécessaire de déplacer de l’argent pour qu’un agent soit utile. La plupart de la valeur qu’un agent apporte provient de la récupération et de l’organisation d’informations, comme la consultation des soldes, le suivi des dépenses ou la détection de tendances. Cela ne nécessite pas de permissions élevées et explique en grande partie pourquoi les gens se connectent à leurs comptes. Tout ce qui dépasse cela, comme le transfert d’argent ou la modification des coordonnées du compte, doit appartenir à un niveau d’autorité distinct, plus strictement contrôlé.

Les systèmes de fraude sont conçus pour identifier les comportements humains suspects, tels que des connexions inhabituelles ou des modèles de transaction. Comment la détection de fraude doit-elle évoluer lorsque les agents IA légitimes peuvent eux-mêmes fonctionner à la vitesse d’une machine et présenter un comportement qui semblerait anormal pour un utilisateur humain ?

Certaines contrôles existants s’appuient fortement sur la vitesse des transactions comme indicateur. Ces indicateurs devront être recalibrés pour un monde où les agents légitimes peuvent également agir rapidement. Cela dit, la plupart de nos signaux comportementaux, qui examinent ce qui est normal pour un utilisateur donné et un bénéficiaire donné, restent pertinents pour détecter la fraude. Les institutions financières peuvent évaluer le comportement en plus de vérifier l’identité.

À l’avenir, les institutions financières devront pouvoir ajuster la sensibilité de la détection selon le contexte, et disposer des permissions et des journaux nécessaires pour distinguer l’agent d’un utilisateur légitime de celui exploité par un fraudeur.

Que se passe-t-il si un attaquant compromet un agent IA, manipule ses instructions ou le trompe pour qu’il effectue une action non autorisée ? Quels signaux pourraient aider une institution financière à distinguer une action autonome légitime d’une action compromise ?

Dans ce scénario, un agent agit de façon que l’utilisateur ne lui a jamais demandée, souvent à la suite d’une attaque d’injection de prompt. Cependant, l’approche de détection ne change pas fondamentalement. Nous continuons à analyser le comportement. Une action qui sort des schémas établis par l’utilisateur constitue un signal à signaler, qu’elle soit initiée par un humain ou par un agent.

Le déplacement d’argent représente un cas d’utilisation particulièrement à haut risque. Où les banques devraient-elles maintenir une approbation humaine obligatoire, et existe-t-il des types de transaction ou des seuils monétaires où vous estimez que les agents autonomes ne devraient pas pouvoir agir de façon indépendante ?

Oui, des limites sont nécessaires. Comme mentionné précédemment, la banque d’affaires offre un précédent qui peut être facilement adapté aux agents IA. Des approbations temporaires peuvent permettre à un agent d’initier une action, mais un humain doit toujours la revoir et l’approuver avant qu’elle ne soit finalisée.

En pratique, cela signifie définir des seuils tant sur la valeur des transferts individuels que sur le nombre de transferts qu’un agent peut initier sur une période donnée. L’approbation humaine obligatoire ne doit pas se limiter uniquement aux mouvements d’argent. Par exemple, modifier les coordonnées de paiement d’un bénéficiaire établi et de confiance peut être tout aussi risqué que de transférer des fonds.

Les agents IA peuvent de plus en plus interagir avec d’autres agents exploités par des fintechs, des fournisseurs, des clients ou d’autres institutions financières. Comment cela augmente-t-il le risque de tiers, et comment une banque peut-elle instaurer la confiance lorsqu’elle ne contrôle pas chaque agent participant à un flux de travail financier ?

Il existe deux scénarios à souligner ici. Le premier serait l’utilisateur accordant à un agent l’accès à son compte. Cet agent agit au nom de l’utilisateur et sous l’autorité de cet utilisateur. S’il autorise cet agent à fonctionner selon un protocole Agent‑à‑Agent et sous la direction d’autres agents, c’est alors l’utilisateur qui assume ce risque. Tout se déroule sous son autorisation, et les banques ne chercheront pas à étendre leur responsabilité.

Le profil de risque change lorsqu’une institution crée ou exploite son propre agent propriétaire spécifique à sa banque. À ce stade, l’institution assume la responsabilité directe du comportement de cet agent, ce qui diffère de l’honorariat d’un accès délégué par une tierce partie. Les institutions financières devront effectuer une diligence raisonnable sur tout agent tiers qu’elles intègrent à un flux de travail, mais une partie de cette responsabilité revient finalement à l’utilisateur final. Le « cercle de contrôle » du client définit jusqu’où s’étend l’obligation de l’institution.

Si un agent IA autorisé prend une décision incorrecte entraînant une perte financière, une exposition de données ou une transaction frauduleuse, comment la responsabilité doit-elle être répartie entre l’employé qui a délégué la tâche, l’institution financière, le fournisseur technologique et le modèle sous‑jacent de l’agent ?

Le règlement E, la règle fédérale qui régit la protection des consommateurs pour les transactions électroniques, s’applique toujours ici. Il fixe les limites de responsabilité en matière de fraude et les exigences d’enquête auxquelles les banques sont soumises. En raison du règlement E, l’obligation d’une institution financière d’enquêter sur une transaction contestée ne disparaît pas.

Ce qui change, c’est la question de la responsabilité sous‑jacente. Si un utilisateur a délibérément délégué l’accès à un agent et que cet agent prend une décision incorrecte, l’obligation de l’institution de rembourser l’utilisateur pour la perte résultante diffère de celle qui s’appliquerait en cas de fraude tierce non autorisée.

En pratique, déléguer cette autorité signifie que l’utilisateur accepte une partie du risque qui l’accompagne. L’institution n’assumera pas la responsabilité qui revient au propriétaire du compte simplement parce que l’erreur a été commise par un logiciel plutôt que par une personne.

En regardant vers l’avenir, quelles bases de sécurité et de gouvernance les banques et les coopératives de crédit devraient-elles mettre en place dès aujourd’hui avant de permettre aux agents IA une plus grande autonomie sur les données sensibles, les comptes clients et les transactions financières ?

La plus grande opportunité consiste à transposer le modèle de gouvernance déjà présent dans la banque d’affaires à la banque grand public. Les comptes d’entreprise bénéficient depuis des années d’un précédent en matière de permissions granulaire, d’accès délégué et de flux d’approbation conçus exactement pour ce type de scénario.

Plutôt que de créer un cadre entièrement nouveau pour la gouvernance des agents, les banques et les coopératives de crédit devraient s’appuyer sur ce qui a déjà fait ses preuves du côté des entreprises et adapter ces mêmes contrôles, niveaux d’autorisation et structures d’approbation aux comptes personnels.

Merci pour cette excellente interview, les lecteurs qui souhaitent en savoir plus devraient visiter Q2.