Daniel Wagner, Director de Producto e Ingeniería en Q2 – Serie de entrevistas

Daniel Wagner, Director de Producto e Ingeniería en Q2, es un líder experimentado en tecnología y producto con una trayectoria que abarca inteligencia artificial, aprendizaje automático, plataformas de datos, banca digital y entrega de software empresarial. Antes de unirse a Q2 mediante su adquisición de Sensibill, Wagner pasó más de una década en Sensibill, ascendiendo en roles de liderazgo que incluyen Delivery Manager, Delivery Director, Director de Ingeniería y VP de Ingeniería. Lideró equipos de Datos e IA desarrollando proyectos de aprendizaje automático, supervisó soluciones móviles para importantes instituciones financieras y, más recientemente, dirigió la ingeniería de una plataforma de datos de clientes enfocada en el enriquecimiento de datos y conocimientos. Al inicio de su carrera, Wagner cofundó y se desempeñó como CEO de las operaciones brasileñas de Itelios, una empresa de desarrollo de aplicaciones que luego fue adquirida por Capgemini, después de comenzar su carrera como ingeniero de software. Q2 adquirió Sensibill en 2022 para reforzar sus capacidades de datos y aprendizaje automático para instituciones financieras.

Q2 es una empresa de tecnología financiera que brinda soluciones de banca digital y préstamos a bancos, cooperativas de crédito, compañías fintech y proveedores de financiación alternativa. Su plataforma abarca la banca de consumo, pequeñas empresas y comercial, junto con incorporación digital, finanzas integradas, precios relacionales, gestión de riesgo y fraude, y personalización basada en datos. Q2 está incorporando cada vez más IA en su cartera de productos, incluidos herramientas diseñadas para mejorar la productividad de los banqueros, detectar actividades fraudulentas, personalizar la experiencia de los titulares de cuentas y ayudar a las instituciones financieras a tomar decisiones más rápidas y basadas en datos. La compañía atiende a más de 1.000 instituciones financieras en su amplio portafolio y posiciona su tecnología como una capa de infraestructura para ayudar a las instituciones financieras a modernizar y ampliar sus servicios digitales.

Su trabajo en Q2 se ha centrado en la resiliencia cibernética y en cómo las organizaciones se preparan y se recuperan de incidentes de seguridad. A medida que las instituciones financieras comienzan a desplegar agentes de IA que pueden tomar acciones en lugar de simplemente analizar información, ¿qué nuevos riesgos de seguridad le preocupan más?

La ciberseguridad y la mitigación de fraude abordan diferentes partes del problema. La ciberseguridad es responsable de “asegurar el perímetro”, incluido garantizar que el acceso a la cuenta esté protegido y que el software subyacente sea sólido. Mi trabajo parte de ahí, una vez que alguien ya ha atravesado ese perímetro, y se centra en determinar si es quien dice ser.

Con el auge de los agentes de IA, la persona que atraviesa esa puerta es un agente delegado que actúa bajo la autoridad de otra persona. El riesgo que más me preocupa es la inyección de prompts. Eso ocurre cuando un estafador manipula al agente de un usuario legítimo para que realice acciones que el usuario nunca autorizó y que no sirven a sus intereses. Es una nueva frontera del fraude que puede generar desafíos para su detección.

Los bancos tradicionalmente han construido sistemas de gestión de identidad y acceso en torno a personas, aplicaciones y cuentas de servicio. ¿Debería ahora un agente de IA tratarse como una identidad distinta propia, y qué implicaría eso en la práctica?

La analogía más clara proviene de la banca empresarial, donde el acceso delegado ya es una disciplina madura. Las empresas otorgan rutinariamente a los empleados acceso limitado para realizar tareas específicas, como consultar saldos, sin conceder la autoridad total del propietario de la cuenta.

Las instituciones financieras deberían aplicar el mismo marco a los agentes de IA. Un agente debe ser tratado como una empresa trata a un asistente humano: una identidad distinta con un rol definido y limitado. Eso implica construir la gestión de identidad y acceso en torno a permisos de agente estrechamente definidos desde el principio, en lugar de conceder a los agentes el mismo estatus que al propietario de la cuenta.

Cuando un agente de IA actúa en nombre de un empleado o cliente, ¿cómo debería un banco determinar exactamente a qué datos puede acceder, con qué cuentas puede interactuar y qué acciones financieras está autorizado a ejecutar?

Comience con acceso de solo lectura como predeterminado. La banca ya cuenta con la infraestructura para soportar este nivel de granularidad, en gran parte porque la banca empresarial lo ha requerido durante años. Las instituciones financieras pueden ser muy precisas acerca de lo que un agente puede ver y hacer.

Iniciar una transacción y aprobarla pueden tratarse como permisos separados, y ambos pueden delimitarse aún más por monto en dólares o tipo de transacción. Muchas instituciones ya dependen de ciclos de aprobación de dos personas para cuentas empresariales, y ese mismo flujo de trabajo se extiende naturalmente a los agentes. Un agente puede iniciar una acción, pero la aprobación final debe permanecer con el titular de la cuenta, manteniendo a una persona en el proceso para cualquier cosa más allá de la visualización de información.

El acceso de menor privilegio se vuelve más complicado cuando un agente necesita realizar docenas de pasos en múltiples sistemas para completar una tarea. ¿Cómo pueden las instituciones financieras otorgar a los agentes la autoridad suficiente para ser útiles sin concederles permisos excesivos?

No es necesario mover dinero para que un agente sea útil. La mayor parte del valor que aporta un agente proviene de recuperar y organizar información, como consultar saldos, rastrear gastos o detectar tendencias. Eso no requiere permisos elevados y es, en gran medida, la razón por la que las personas inician sesión en sus cuentas. Cualquier cosa más allá de eso, como mover dinero o cambiar detalles de la cuenta, pertenece a un nivel de autoridad separado y más estrictamente controlado.

Los sistemas de fraude están diseñados para identificar comportamientos humanos sospechosos, como inicios de sesión inusuales o patrones de transacciones. ¿Cómo debe evolucionar la detección de fraude cuando los agentes de IA legítimos pueden operar a velocidad de máquina y mostrar comportamientos que parecerían anormales para un usuario humano?

Algunos controles existentes dependen en gran medida de la velocidad de la transacción como señal. esas señales deberán recalibrarse para un mundo donde los agentes legítimos también pueden moverse rápidamente. Dicho esto, la mayoría de nuestras señales de comportamiento, que analizan lo que es normal para un usuario y un beneficiario determinados, siguen siendo relevantes para detectar fraude. Las instituciones financieras pueden evaluar el comportamiento además de verificar la identidad.

En el futuro, las instituciones financieras necesitarán la capacidad de ajustar la sensibilidad de detección hacia arriba o hacia abajo según el contexto, y contar con los permisos y registros necesarios para distinguir al agente legítimo de un usuario de aquel que está siendo operado por un estafador.

¿Qué ocurre si un atacante compromete un agente de IA, manipula sus instrucciones o lo engaña para que realice una acción no autorizada? ¿Qué señales podrían ayudar a una institución financiera a distinguir una acción autónoma legítima de una comprometida?

En este escenario, un agente hace algo que el usuario nunca le pidió, a menudo como resultado de un ataque de inyección de prompts. Sin embargo, el enfoque de detección no cambia fundamentalmente. Seguimos observando el comportamiento. Una acción que se desvía de los patrones establecidos del usuario es una señal que vale la pena marcar, independientemente de si la inició un humano o un agente.

El movimiento de dinero representa un caso de uso de alto riesgo. ¿Dónde deberían los bancos mantener la aprobación humana obligatoria, y existen tipos de transacción o umbrales en dólares donde usted cree que los agentes autónomos no deberían poder actuar de forma independiente?

Sí, los límites son necesarios. Como se mencionó anteriormente, la banca empresarial ofrece un precedente que puede adaptarse fácilmente a los agentes de IA. Las aprobaciones temporales pueden permitir que un agente inicie una acción, pero un humano aún debe revisarla y aprobarla antes de que se finalice.

En la práctica, eso significa establecer umbrales tanto para el valor de transferencias individuales como para la cantidad de transferencias que un agente puede iniciar dentro de un período determinado. La aprobación humana obligatoria tampoco debe limitarse solo al movimiento de dinero. Por ejemplo, cambiar los datos de pago de un beneficiario establecido y de confianza puede ser tan arriesgado como mover fondos.

Los agentes de IA pueden interactuar cada vez más con otros agentes operados por fintechs, proveedores, clientes u otras instituciones financieras. ¿Cómo amplía esto el riesgo de terceros y cómo puede un banco establecer confianza cuando no controla a todos los agentes que participan en un flujo de trabajo financiero?

Hay dos escenarios que vale la pena destacar aquí. El primero sería el usuario que otorga a un agente acceso a su cuenta. Este agente actúa en nombre del usuario y bajo la autoridad de ese usuario. Si permiten que ese agente trabaje bajo un protocolo de Agente a Agente y bajo la dirección de otros agentes, entonces es el usuario quien asume ese riesgo. Todo ocurre bajo su autorización, y los bancos no intentarán ampliar su responsabilidad.

El perfil de riesgo cambia cuando una institución construye o opera su propio agente propietario específico para su banco. En ese momento, la institución asume la responsabilidad directa del comportamiento de ese agente, lo cual difiere de honrar el acceso delegado de otra parte. Las instituciones financieras deberán realizar la debida diligencia sobre cualquier agente externo que permitan en un flujo de trabajo, pero parte de esa responsabilidad finalmente recae en el usuario final. El “círculo de control” del cliente define hasta dónde se extiende la obligación de la institución.

Si un agente de IA autorizado toma una decisión incorrecta que resulta en una pérdida financiera, exposición de datos o transacción fraudulenta, ¿cómo debería dividirse la responsabilidad entre el empleado que delegó la tarea, la institución financiera, el proveedor tecnológico y el modelo subyacente del agente?

Reg E, la normativa federal que regula la protección del consumidor para transacciones electrónicas, sigue aplicándose aquí. Establece los límites de responsabilidad por fraude y los requisitos de investigación bajo los cuales operan los bancos. Debido a Reg E, el deber de una institución financiera de investigar una transacción disputada no desaparece.

Lo que cambia es la cuestión de la responsabilidad subyacente. Si un usuario ha delegado conscientemente el acceso a un agente y ese agente toma una decisión incorrecta, la obligación de la institución de reembolsar al usuario por la pérdida resultante es diferente a la que habría en caso de fraude de terceros no autorizado.

En efecto, delegar esa autoridad significa que el usuario acepta parte del riesgo que conlleva. La institución no asumirá la responsabilidad que corresponde al propietario de la cuenta simplemente porque el error lo haya cometido un software y no una persona.

De cara al futuro, ¿qué fundamentos de seguridad y gobernanza deberían los bancos y cooperativas de crédito establecer hoy antes de permitir que los agentes de IA tengan mayor autonomía sobre datos sensibles, cuentas de clientes y transacciones financieras?

La mayor oportunidad es trasladar el modelo de gobernanza que ya existe en la banca empresarial a la banca personal. Las cuentas empresariales cuentan con años de precedentes en permisos granulares, acceso delegado y flujos de trabajo de aprobación diseñados precisamente para este tipo de escenario.

En lugar de crear un marco completamente nuevo para la gobernanza de agentes, los bancos y cooperativas de crédito deberían observar lo que ya ha demostrado funcionar en el ámbito empresarial y adaptar esos mismos controles, niveles de permiso y estructuras de aprobación para las cuentas personales.

Gracias por la excelente entrevista, los lectores que deseen obtener más información deberían visitar Q2.