El riesgo de la IA agentiva se vuelve mucho menos abstracto cuando el modelo puede gastar dinero. Investigadores de Cambridge informaron que la IA agentiva ya estaba en adopción activa entre el 52% de los encuestados del sector financiero, mientras que las alucinaciones de los modelos y las salidas no confiables fueron calificadas como uno de los dos principales riesgos por proveedores de IA, empresas del sector y reguladores encuestados.[s] Este es el nuevo problema: el antiguo modo de fallo de los chatbots se encuentra con los sistemas de pago, las operaciones bancarias y los mercados financieros.
Quien firma los cheques puso este tema sobre la mesa, un chiste oportuno porque es justo el momento en que el software deja de charlar y empieza a gastar.
Una alucinación en una respuesta de búsqueda puede engañar a una persona. Una alucinación dentro de un agente con permiso para realizar pedidos, aprobar facturas, mover liquidez o ejecutar operaciones puede generar una acción que otros sistemas deben procesar. Visa anunció una colaboración con OpenAI para habilitar pagos con Visa dentro del comercio agentivo, y afirmó que esas transacciones operarían bajo permisos y controles definidos por el usuario, como límites de gasto, categorías de comerciantes o aprobaciones requeridas.[s] Mastercard describe a los agentes como chatbots habilitados para realizar acciones como enviar correos electrónicos o pedir comida, y advierte que las transacciones legítimas de agentes pueden parecer sospechosas cuando ocurren en horarios inusuales, en diferentes geografías o en patrones repetidos rápidos que se asemejan a bots fraudulentos.[s]
El riesgo de la IA agentiva comienza con el permiso
Un agente no es simplemente un modelo con una interfaz más amigable. Agencias cibernéticas conjuntas describen los sistemas de IA agentiva como uno o más agentes que dependen de un modelo de IA para interpretar el mundo, tomar decisiones y ejecutar acciones.[s] En lenguaje sencillo, el verbo importante es «ejecutar». Una vez que el software puede actuar, la pregunta de seguridad cambia de «¿Es verdadera la respuesta?» a «¿Qué puede hacer este sistema cuando se equivoca?».
Por eso la alucinación por negación de la IA no es solo una molestia para el usuario en el ámbito financiero. Si un asistente inventa una política de reembolso, malinterpreta una categoría de comerciante o confunde una instrucción de la empresa con una autorización de pago, la pérdida ya no se limita a la ventana de chat. La brecha de cumplimiento pasa de la redacción al flujo de trabajo: quién aprobó la acción, qué límite se aplicó, qué sistema la registró y si un humano pudo detenerla a tiempo.
Los sistemas de pago agravan este problema. Investigadores del BIS describen los sistemas de pago como indispensables para las economías modernas porque transfieren valor entre individuos, empresas y gobiernos.[s] En un experimento del BIS, un agente de IA generativa replicó tareas clave de gestión de efectivo sin capacitación especializada, incluyendo decisiones sobre reservas de liquidez, pagos urgentes y retrasos en la liquidación.[s] Esto es prometedor, pero también muestra por qué el riesgo de la IA agentiva debe discutirse en el mismo contexto que la infraestructura financiera, y no solo en el de la seguridad de los chatbots para consumidores.
Por qué una sola respuesta errónea puede propagarse
El riesgo sistémico no requiere que todos los agentes fallen. Puede surgir cuando muchos sistemas se comportan de manera similar, responden demasiado rápido o dependen de los mismos proveedores. El BIS advirtió que la IA puede acelerar las operaciones de trading y los ajustes de cartera, lo que podría intensificar los movimientos de precios a corto plazo cuando cambian las condiciones del mercado.[s] También advirtió que el uso generalizado de modelos, datos o reglas de decisión similares de IA puede hacer que las instituciones respondan a los shocks de manera parecida, aumentando la correlación en el comportamiento.[s]
Ese es el puente entre la alucinación y el riesgo sistémico. El evento negativo no es solo «el modelo inventó algo». El evento negativo es «muchos sistemas confiaron en un proceso similar, actuaron más rápido de lo que el control podía seguir y se alimentaron mutuamente con señales confirmatorias». Investigadores de la Reserva Federal descubrieron que los agentes de IA en experimentos podían ser inducidos a adoptar un comportamiento gregario cuando se les guiaba explícitamente hacia decisiones de maximización de beneficios.[s] En los mercados, el comportamiento gregario no es ciencia ficción. Es una vía por la que la automatización puede hacer que una posición saturada lo esté todavía más.
La seguridad añade otra vía. Agencias cibernéticas conjuntas advierten que la complejidad de la IA agentiva puede introducir fallos en cascada y ataques de múltiples pasos, donde un comportamiento comprometido o inesperado en un componente se propaga a través de pasos posteriores y afecta a todo el sistema.[s] En un banco, esto puede significar que el problema no es solo el modelo. Es el modelo más la memoria, las herramientas, los permisos, los registros, las aprobaciones, los sistemas de proveedores y las fallas de confiabilidad de SaaS que subyacen al flujo de trabajo.
La cuenta bancaria cambia el margen de error
Los controles existentes para entradas erróneas, intentos de fraude e incidentes operativos son solo parte de la solución. El riesgo de la IA agentiva es diferente porque el factor tiempo cambia. El BIS advirtió que, bajo estrés, la IA y las finanzas digitales pueden comprimir el tiempo disponible para que las instituciones y las autoridades respondan, ya que las presiones de liquidez, las interrupciones operativas o las reacciones del mercado se desarrollan más rápidamente.[s] La supervisión manual puede convertirse en un ritual posterior a la acción en lugar de un control previo.
El BCE hace la misma observación desde el lado operativo. Advirtió que un banco puede tener suficiente capital y liquidez, pero aún así enfrentar graves problemas operativos, o incluso quebrar, si carece de preparación y planificación de contingencia para shocks operativos.[s] También advirtió que la velocidad, escala y accesibilidad de las capacidades cibernéticas avanzadas están aumentando, mientras que el tiempo disponible para los defensores se reduce.[s]
La respuesta práctica no es prohibir los agentes en las finanzas. Es tratarlos como operadores de alto riesgo con autoridad limitada. Límites de gasto, restricciones de comerciantes, aprobaciones separadas para nuevas contrapartes, registros inmutables, revocación rápida y pruebas contra inyección de prompts no son detalles. Son el límite entre un asistente útil y un sistema con capacidad de pago que puede convertir una inferencia errónea en una obligación real.
El modelo mental útil es simple: la alucinación es un error de contenido hasta que el sistema tiene autoridad. Después de eso, el riesgo de la IA agentiva es un riesgo operativo, un riesgo cibernético y, a veces, un riesgo para la estabilidad financiera. Abordado de esta manera, el riesgo de la IA agentiva es un problema de diseño antes de convertirse en un problema de titulares. La parte peligrosa no es que el software suene confiado. Es que esa confianza ahora puede estar conectada a un botón que dice «enviar».
El riesgo de la IA agentiva es un problema de privilegios y propagación. Investigadores de Cambridge informaron que la IA agentiva ya estaba en adopción activa entre el 52% de los encuestados del sector financiero, y que las alucinaciones y salidas no confiables fueron calificadas como uno de los dos principales riesgos de IA por proveedores, empresas financieras y reguladores encuestados.[s] Cuando esos sistemas están conectados a credenciales de pago, flujos de trabajo de mercado u operaciones bancarias, la alucinación se convierte en solo una entrada de fallo dentro de un sistema de control mucho más grande.
Este tema surgió de quien firma los cheques, lo cual es apropiado porque la pregunta de ingeniería es qué sucede cuando un sistema probabilístico obtiene autoridad para gastar.
Visa anunció una colaboración con OpenAI para habilitar pagos seguros con Visa dentro del comercio agentivo, y afirmó que las transacciones utilizarán permisos, políticas y controles definidos, como límites de gasto, categorías de comerciantes o aprobaciones requeridas.[s] Mastercard define a los agentes como chatbots habilitados para realizar acciones como enviar correos electrónicos o pedir comida, y señala que el comercio agentivo puede confundir a los sistemas antifraude porque las compras automatizadas pueden ocurrir en horarios inusuales, en diferentes geografías o en patrones repetidos rápidos.[s]
El riesgo de la IA agentiva como problema de control
Agencias cibernéticas conjuntas definen los sistemas de IA agentiva como uno o más agentes que dependen de un modelo de IA, como un LLM, para interpretar el estado del mundo, tomar decisiones y ejecutar acciones.[s] La arquitectura importa porque la superficie de fallo incluye el modelo, las llamadas a herramientas, la memoria, las fuentes de datos, los disparadores, las identidades, las rutas de aprobación y los sistemas posteriores.[s]
El control tradicional de alucinaciones pregunta si una salida es verdadera. El control agentivo pregunta si el sistema debería estar autorizado para ejecutar el siguiente paso. La alucinación por negación de la IA es, por lo tanto, un síntoma, no el riesgo completo. Un modelo que racionaliza su propio error puede ser molesto en un editor de documentos. En un flujo de pago, ese mismo comportamiento puede convertirse en un problema de auditoría si el sistema también tiene autoridad para iniciar o aprobar una transacción.
La regla central de ingeniería es el principio de mínimo privilegio.[s] Los agentes deben recibir solo el acceso a herramientas, límites de transacción y alcance de datos necesarios para la tarea. La brecha de cumplimiento aparece cuando las organizaciones tratan los prompts de políticas como si fueran controles de acceso. Un prompt puede expresar intención, pero las redes de pago, los libros contables bancarios, los sistemas de adquisiciones y los proveedores de identidad necesitan restricciones aplicables que no dependan de que el modelo interprete correctamente la instrucción.
De la alucinación al comportamiento correlacionado
El problema de estabilidad financiera no es solo el error individual del modelo. El BIS advirtió que la IA puede acelerar las operaciones de trading y los ajustes de cartera, lo que podría intensificar los movimientos de precios a corto plazo cuando cambian las condiciones del mercado.[s] También advirtió que el uso generalizado de modelos, datos o reglas de decisión similares de IA puede hacer que las instituciones respondan a los shocks de manera parecida, aumentando la correlación en el comportamiento.[s]
Ese es el camino de un problema de inferencia local a un problema de mercado. Un único dato alucinado puede ser detectado. Un patrón de razonamiento compartido integrado en agentes de asesoría, agentes de gestión de efectivo y herramientas de apoyo al trading puede crear un comportamiento sincronizado antes de que los supervisores vean la forma agregada. Investigadores de la Reserva Federal descubrieron que los agentes de IA en entornos experimentales podían ser inducidos a adoptar un comportamiento gregario cuando se les guiaba explícitamente a tomar decisiones de maximización de beneficios.[s]
La infraestructura de pagos muestra por qué esto importa fuera de las mesas de operaciones. Investigadores del BIS describen los sistemas de pago como indispensables para las economías modernas porque transfieren valor entre individuos, empresas y gobiernos.[s] En experimentos basados en prompts, el BIS descubrió que un agente de IA generativa podía replicar tareas clave de gestión de efectivo incluso sin capacitación especializada.[s] Un sistema que puede priorizar pagos urgentes y gestionar liquidez puede ser útil, pero también necesita controles para premisas falsas, entradas manipuladas y condiciones de estrés.
La parte sistémica es velocidad más acoplamiento
El riesgo de la IA agentiva se vuelve sistémico cuando se combinan varias propiedades: autonomía, velocidad, infraestructura compartida, objetivos similares y puntos débiles de interrupción. El BIS advirtió que, bajo estrés, la IA y las finanzas digitales pueden comprimir el tiempo disponible para que las instituciones y las autoridades respondan, ya que las presiones de liquidez, las interrupciones operativas o las reacciones del mercado se desarrollan más rápidamente.[s] Cambridge advirtió de manera similar que la implementación rápida de la IA agentiva agrava las vulnerabilidades cibernéticas y hace que la supervisión manual sea cada vez más ineficaz.[s]
Las agencias cibernéticas describen la versión estructural del mismo problema: la complejidad de la IA agentiva puede introducir fallos en cascada y ataques de múltiples pasos, donde un comportamiento comprometido o inesperado en un componente se propaga a través de pasos posteriores y afecta a todo el sistema.[s] Por eso importan las fallas de confiabilidad de SaaS. Un agente con capacidad de pago puede heredar las debilidades de confiabilidad, identidad y registro de cada servicio del que depende.
El BCE ha sido claro sobre el entorno operativo. Advirtió que un banco puede tener suficiente capital y liquidez, pero aún así enfrentar graves problemas operativos, o incluso quebrar, si carece de preparación y planificación de contingencia robusta para shocks operativos.[s] También advirtió que las capacidades cibernéticas avanzadas están aumentando en velocidad, escala y accesibilidad, mientras que los defensores tienen menos tiempo para responder.[s]
Qué debe asumir un buen diseño
Para los bancos, el riesgo de la IA agentiva debe probarse en el límite del flujo de trabajo: el punto en que una recomendación se convierte en una instrucción para otro sistema.
Una implementación seria debe asumir que el agente a veces malinterpretará la intención, se ajustará en exceso a un objetivo, confiará en un contexto hostil o tomará una acción localmente racional que sea globalmente insegura. Por lo tanto, la pila de control debe estar fuera del modelo: límites máximos de transacción estrictos, listas de permitidos para comerciantes y contrapartes, detección de anomalías ajustada para agentes autorizados, aprobación humana para acciones irreversibles, registros duraderos, credenciales con alcance limitado e interruptores de emergencia inmediatos.
El movimiento de diseño más importante es separar la recomendación de la ejecución. Que el modelo proponga, compare y explique. Que los controles deterministas decidan si la acción está permitida. Que los humanos aprueben acciones que creen compromisos legales, financieros u operativos más allá de un alcance preautorizado limitado. En esa arquitectura, el riesgo de la IA agentiva se gestiona como un problema de sistemas en lugar de desecharse como un problema de calidad de prompts.
La cuenta bancaria es el umbral. Antes de ella, una alucinación es una afirmación. Después de ella, una alucinación puede convertirse en un pago, una operación, un rechazo de una compra legítima, una decisión de liquidez o un incidente cibernético. Las finanzas pueden usar agentes, pero solo si diseñan para el momento en que la respuesta es incorrecta y el sistema sigue siendo lo suficientemente rápido para actuar.
