Por qué la IA explicable podría convertirse en una ventaja empresarial

Responsabilidad por la IA agéntica: por qué la explicabilidad podría resultar rentable

Un asistente de IA que recomienda al proveedor equivocado crea un problema que alguien puede detectar. Un agente de IA que elige al proveedor, firma un pedido e inicia el pago puede convertir ese error en una pérdida financiera antes de que nadie intervenga.

Este paso de responder preguntas a tomar medidas cambia la economía de la inteligencia artificial. Las empresas necesitan saber qué pueden hacer los agentes, pero también cómo investigar sus decisiones cuando algo sale mal.

Un nuevo estudio, «Responsabilidad por las conductas erráticas de la IA agéntica», publicado en Telecommunications Policy, examina cómo la responsabilidad jurídica podría incentivar a los desarrolladores a hacer más explicables los sistemas autónomos.¹ Su propuesta central tiene una importancia comercial considerable: con un marco de responsabilidad diseñado adecuadamente, unas explicaciones mejores podrían reducir la exposición de los desarrolladores a indemnizaciones por daños.

La oportunidad va más allá de los litigios. Las pruebas sobre el funcionamiento de un agente podrían ayudar a las empresas a aprobar implementaciones, investigar fallos y negociar la atribución de responsabilidades con los proveedores.

Por qué los agentes de IA plantean un problema de responsabilidad distinto

La IA agéntica se refiere a sistemas que persiguen objetivos mediante secuencias de acciones, a menudo con herramientas de software y una supervisión humana limitada. Un agente podría investigar una compra, comparar ofertas, actualizar registros internos y realizar un pedido.

Los investigadores se centran en comportamientos dañinos e impredecibles que describen como «vicios inherentes de la IA». Según su marco, estos fallos siguen siendo posibles a pesar de un desarrollo diligente y de las pruebas disponibles.

Un ejemplo es la manipulación de especificaciones: un sistema cumple un objetivo cuantificable mientras socava el propósito real. Imaginemos que se recompensa a un agente de compras por reducir los precios de las facturas y que, para ello, elige proveedores poco fiables, lo que aumenta el tiempo de inactividad de la producción. Este ejemplo hipotético ilustra cómo alcanzar una meta limitada puede convertirse en un fracaso para la empresa.

Los autores se preguntan cómo debería funcionar la responsabilidad cuando los desarrolladores no pueden eliminar todos esos riesgos y los tribunales no pueden distinguir fácilmente entre un fallo inevitable y unas precauciones insuficientes.

Cómo podría cambiar la explicabilidad la responsabilidad por la IA

El artículo recurre a la teoría de juegos, un enfoque matemático para estudiar decisiones en las que interactúan los incentivos de distintas partes. Examina cómo las normas de responsabilidad influyen en la disposición de los desarrolladores a invertir en explicabilidad.

El mecanismo propuesto recompensa a los desarrolladores que cumplen los criterios de referencia de explicabilidad y demuestran satisfactoriamente que un incidente perjudicial se debió a una limitación inherente. Los desarrolladores que ofrecen explicaciones deficientes se enfrentan a una mayor exposición a responsabilidades.

Esto no significa que comprar software de supervisión otorgue automáticamente protección jurídica. El marco exige normas creíbles, pruebas útiles y aceptación dentro del sistema jurídico pertinente.

También importa distinguir entre el resultado matemático y la recomendación normativa. La ausencia total de indemnizaciones por daños a cargo de los desarrolladores aparece como referencia teórica. En su análisis de políticas, el artículo recomienda una escala progresiva que reduzca las indemnizaciones sin eliminarlas, de modo que las víctimas sigan recibiendo alguna compensación.

De las explicaciones de la IA a las pruebas verificables

Una interpretación comercial útil de la investigación es que las empresas necesitan pruebas que puedan examinar, no solo descripciones convincentes del comportamiento de un agente.

En el caso hipotético del agente de compras, los investigadores querrían disponer de registros que mostraran qué proveedores evaluó, qué información recibió, de qué autoridad disponía y si se obtuvieron las aprobaciones requeridas. Estos registros no revelarían necesariamente todos los cálculos internos, pero podrían facilitar la reconstrucción de un incidente.

Esta distinción separa la explicabilidad de la observabilidad. La explicabilidad se refiere a comprender el comportamiento; la observabilidad, a recopilar información sobre el funcionamiento de un sistema. Ambas pueden complementarse, pero ninguna demuestra automáticamente que un resultado fuera inevitable.

El análisis de Gartner de marzo de 2026 sobre la inversión en IA explicable y observabilidad prevé que la inversión en observabilidad alcance al 50 % de las implementaciones de IA generativa para 2028, frente al 15 % en el momento de la previsión. Se trata de un pronóstico, pero ilustra la creciente atención comercial que suscita comprender los sistemas desplegados.

Para quienes compran estas soluciones, surgen tres preguntas prácticas:

• ¿Puede el proveedor reconstruir las acciones de un agente que tengan consecuencias importantes?
• ¿Puede la empresa limitar los permisos y exigir aprobación para las decisiones sensibles?
• ¿Pueden los investigadores exportar registros fiables cuando se produce un incidente?

La reciente cobertura de Securities.io sobre la identidad y los controles de acceso de los agentes de IA examina un aspecto relacionado de este desafío. Saber qué agente actuó y qué estaba autorizado a hacer constituye un punto de partida para exigir responsabilidades.

Por qué una mejor gobernanza podría dar paso a más automatización

La oportunidad va más allá de reducir posibles daños. Pensemos en una empresa que debe decidir si un agente solo puede recomendar compras o también ejecutarlas de forma autónoma.

Si los directivos no pueden investigar las decisiones ni determinar quién es responsable, quizá mantengan una revisión manual exhaustiva. Eso limita las mejoras de productividad. Unos registros más completos, una autoridad claramente definida y procedimientos fiables de escalamiento podrían hacer aceptable un despliegue más amplio.

Esto apunta a una segunda fuente de valor: las herramientas de gobernanza podrían ayudar a convertir agentes técnicamente capaces en sistemas que las empresas estén dispuestas a utilizar. Se trata de una inferencia económica, no de un resultado medido por el estudio.

Una encuesta sobre gobernanza de la IA en las empresas encargada por IBM en octubre de 2026 ilustra la brecha de implementación. De los 3.221 altos directivos encuestados en ocho países de Europa y Oriente Medio, el 35 % afirmó que ya utilizaba IA agéntica en producción, mientras que solo el 37 % dijo que sus sistemas de gobernanza estaban diseñados para ampliarse al ritmo de los despliegues de IA agéntica.

Estos resultados son autodeclarados y proceden de una investigación encargada por un proveedor de soluciones de gobernanza; no son una medición independiente de la seguridad técnica. Aun así, ponen de manifiesto un problema práctico de compra: desplegar agentes y supervisarlos son capacidades distintas.

La transparencia podría convertirse en una ventaja en los procesos de compra

Cuando dos agentes tienen un rendimiento similar, los compradores podrían preferir al proveedor que facilite la investigación de incidentes. Esto abre espacio para competir en calidad de las pruebas, integración y rendición de cuentas, además de en la precisión de los modelos.

El análisis de Securities.io sobre la IA explicable en la previsión de los mercados destaca una distinción relacionada: comprender el comportamiento de un modelo tiene valor diagnóstico, aunque no demuestre que su rendimiento sea rentable.

En el caso de los agentes empresariales, esto podría traducirse en contratos que especifiquen el acceso a los registros, la cooperación en caso de incidentes y las responsabilidades de aprobación. Estas disposiciones no resolverían todas las cuestiones de responsabilidad, pero podrían reducir la incertidumbre antes del despliegue.

El equilibrio entre la rendición de cuentas y la competencia

El estudio reconoce que los requisitos de explicabilidad podrían imponer costes desproporcionados a los desarrolladores más pequeños. A las empresas grandes quizá les resulte más fácil financiar evaluaciones comparativas, auditorías y equipos especializados.

Un posible resultado es una mayor dependencia de las plataformas de gobernanza ya consolidadas. Otra posibilidad es que aumente la demanda de estándares compartidos y herramientas asequibles que permitan a los proveedores más pequeños demostrar que ofrecen salvaguardias equivalentes.

La calidad de esos estándares es importante. El modelo presupone que la evaluación comparativa de la explicabilidad puede verificarse a la perfección, aunque las auditorías reales pueden variar y sigue siendo posible cumplir los requisitos solo de manera superficial. También presupone que la explicabilidad reduce la probabilidad de daño, una relación que, según los autores, debe estudiarse más a fondo.

Por lo tanto, no debe confundirse una documentación más completa con la prueba de que el comportamiento es más seguro. Una evaluación útil analizaría si las explicaciones ayudan a identificar las causas, corregir los fallos y evitar que vuelvan a producirse.

El papel de IBM en la gobernanza de la IA empresarial

Estas necesidades de implementación ofrecen un vínculo natural con IBM para los inversores interesados en empresas que desarrollan infraestructura para la IA empresarial.

La actualización de octubre de 2026 de watsonx.governance de IBM amplía la detección de agentes y conecta las métricas de evaluación operativa con los controles de gobernanza. Las integraciones con Langfuse y Arize incorporan información de supervisión a los registros de gobernanza, mientras que la integración con watsonx Orchestrate vincula los controles definidos con pruebas de su aplicación durante la ejecución.

Estas capacidades abordan algunos aspectos del problema práctico de las pruebas. No demuestran que IBM cumpla los criterios jurídicos propuestos en el estudio ni que sus clientes estén protegidos frente a responsabilidades legales.

La posible ventaja comercial consiste en ayudar a las empresas a gestionar agentes en sus sistemas actuales. Si la gobernanza se convierte en un requisito para ampliar la automatización, la demanda podría impulsar las suscripciones de software y los servicios de implementación.

Para los inversores, la siguiente pregunta es si esa demanda generará ingresos duraderos y márgenes atractivos. Entre las señales pertinentes están la adopción por parte de los clientes, la expansión más allá de los proyectos piloto y las pruebas de que las capacidades de gobernanza influyen en las decisiones de compra. IBM ofrece exposición a esta tendencia dentro de un negocio más amplio, por lo que el éxito en la gobernanza de la IA, por sí solo, no determinaría el rendimiento de la inversión en la empresa.

Últimas noticias y novedades de IBM (IBM)

La explicabilidad como base de la IA comercial

El artículo propone un marco para recompensar a los desarrolladores que facilitan la comprensión de fallos impredecibles. Su contribución práctica plantea una cuestión sobre los incentivos: ¿cómo puede la rendición de cuentas fomentar la inversión en mejores sistemas?

Para las empresas, la oportunidad consiste en facilitar la evaluación y el despliegue de la autonomía. Para los proveedores de tecnología, consiste en aportar pruebas que sigan siendo útiles cuando se cuestionen las decisiones. La propuesta comercial más sólida combinará agentes capaces con controles y registros en los que los clientes puedan confiar de verdad.

Referencias:

¹ Papyshev, G., Chan, K. J. D. y Migliorini, S. (2026). Responsabilidad por los comportamientos descontrolados de la IA agéntica. Telecommunications Policy, 50, artículo 103339. https://doi.org/10.1016/j.telpol.2026.103339