Le risque de l’IA agentique devient beaucoup moins abstrait lorsque le modèle peut dépenser de l’argent. Des chercheurs de Cambridge ont rapporté que l’IA agentique était déjà adoptée activement par 52 % des répondants du secteur financier interrogés, tandis que les hallucinations des modèles et les sorties peu fiables étaient considérées comme l’un des deux principaux risques par les fournisseurs d’IA, les entreprises du secteur et les régulateurs.[s] Voici le nouveau problème : l’ancien mode de défaillance des chatbots rencontre désormais les rails de paiement, les opérations bancaires et les marchés financiers.
C’est celui qui signe les chèques qui a posé ce dossier sur le bureau, une boutade bien trouvée, car c’est précisément le moment où le logiciel cesse de discuter pour commencer à dépenser.
Une hallucination dans une réponse de recherche peut induire en erreur une personne. Une hallucination au sein d’un agent disposant de l’autorisation de passer des commandes, d’approuver des factures, de déplacer des liquidités ou de déclencher des transactions peut créer une action que d’autres systèmes doivent traiter. Visa a annoncé une collaboration avec OpenAI pour permettre les paiements Visa dans le commerce agentique, et a précisé que ces transactions fonctionneraient sous les permissions et contrôles des utilisateurs, tels que des limites de dépenses, des catégories de commerçants ou des approbations requises.[s] Mastercard décrit les agents comme des chatbots capables d’effectuer des actions telles qu’envoyer des e-mails ou commander de la nourriture, et met en garde contre le fait que les transactions légitimes effectuées par des agents peuvent sembler suspectes lorsqu’elles surviennent à des heures inhabituelles, dans différentes zones géographiques ou selon des schémas répétitifs rapides qui ressemblent à des bots frauduleux.[s]
Le risque de l’IA agentique commence par les permissions
Un agent n’est pas simplement un modèle doté d’une interface plus conviviale. Les agences cyber conjointes décrivent les systèmes d’IA agentique comme un ou plusieurs agents qui s’appuient sur un modèle d’IA pour interpréter le monde, prendre des décisions et agir.[s] En langage courant, le verbe important est « agir ». Une fois que le logiciel peut agir, la question de sécurité passe de « La réponse est-elle vraie ? » à « Que peut faire ce système lorsqu’il se trompe ? »
C’est pourquoi l’hallucination de déni de l’IA n’est pas seulement une nuisance pour l’utilisateur en finance. Si un assistant invente une politique de remboursement, interprète mal une catégorie de commerçant ou confond une instruction d’entreprise avec une autorisation de paiement, la perte ne se limite plus à la fenêtre de discussion. L’écart de conformité passe des mots au flux de travail : qui a approuvé l’action, quelle limite s’appliquait, quel système l’a enregistrée et si un humain a pu l’arrêter à temps.
Les systèmes de paiement rendent ce problème plus aigu. Les chercheurs de la BRI décrivent les systèmes de paiement comme indispensables aux économies modernes, car ils transfèrent de la valeur entre les particuliers, les entreprises et les gouvernements.[s] Dans une expérience de la BRI, un agent d’IA générative a reproduit des tâches clés de gestion de trésorerie sans formation spécialisée, y compris des choix concernant les réserves de liquidités, les paiements urgents et les retards de règlement.[s] C’est prometteur. Cela montre aussi pourquoi le risque de l’IA agentique doit être abordé dans le cadre des infrastructures financières, et pas seulement de la sécurité des chatbots grand public.
Pourquoi une seule mauvaise réponse peut se propager
Le risque systémique n’exige pas que tous les agents échouent. Il peut émerger lorsque de nombreux systèmes se comportent de manière similaire, réagissent trop rapidement ou dépendent des mêmes fournisseurs. La BRI a averti que l’IA peut accélérer les transactions et les ajustements de portefeuille, ce qui peut intensifier les mouvements de prix à court terme lorsque les conditions du marché changent.[s] Elle a également averti que l’utilisation généralisée de modèles, de données ou de règles de décision similaires peut amener les institutions à réagir aux chocs de manière similaire, augmentant la corrélation des comportements.[s]
C’est le pont entre l’hallucination et le risque systémique. L’événement problématique n’est pas seulement « le modèle a inventé quelque chose ». L’événement problématique est « de nombreux systèmes ont fait confiance à un processus similaire, ont agi plus vite que le contrôle ne pouvait suivre, et se sont mutuellement envoyé des signaux de confirmation ». Des chercheurs de la Réserve fédérale ont découvert que des agents d’IA, dans des expériences, pouvaient être incités à adopter un comportement moutonnier lorsqu’ils étaient explicitement guidés vers des décisions visant à maximiser les profits.[s] Sur les marchés, le comportement moutonnier n’est pas de la science-fiction. C’est une voie par laquelle l’automatisation peut rendre un trade surpeuplé encore plus surpeuplé.
La sécurité ajoute une autre voie. Les agences cyber conjointes mettent en garde contre le fait que la complexité de l’IA agentique peut introduire des défaillances en cascade et des attaques en plusieurs étapes, où un comportement compromis ou inattendu dans un composant se propage aux étapes suivantes et affecte l’ensemble du système.[s] Dans une banque, cela peut signifier que le problème ne vient pas seulement du modèle. Il vient du modèle, plus la mémoire, les outils, les permissions, les journaux, les approbations, les systèmes des fournisseurs et les défaillances de fiabilité des services SaaS qui sous-tendent le flux de travail.
Le compte bancaire change la marge d’erreur
Les contrôles existants pour les entrées erronées, les tentatives de fraude et les incidents opérationnels ne constituent qu’une partie de la réponse. Le risque de l’IA agentique est différent parce que le rythme change. La BRI a averti qu’en période de stress, l’IA et la finance numérique peuvent réduire le temps disponible pour les institutions et les autorités pour réagir alors que les pressions de liquidité, les perturbations opérationnelles ou les réactions du marché se déroulent plus rapidement.[s] Le contrôle manuel peut devenir un rituel après l’action plutôt qu’un contrôle avant celle-ci.
La BCE aborde la question sous l’angle opérationnel. Elle a averti qu’une banque peut disposer de capitaux et de liquidités suffisants mais néanmoins faire face à de graves problèmes opérationnels, voire faire faillite, si elle manque de préparation et de plans d’urgence pour les chocs opérationnels.[s] Elle a également averti que la vitesse, l’échelle et l’accessibilité des capacités cyber avancées augmentent tandis que le temps disponible pour les défenseurs se réduit.[s]
La réponse pratique n’est pas d’interdire les agents dans la finance. Il s’agit de les traiter comme des opérateurs à haut risque avec une autorité limitée. Les limites de dépenses, les restrictions de commerçants, les approbations séparées pour les nouvelles contreparties, les journaux immuables, la révocation rapide et les tests contre l’injection de prompts ne sont pas des détails. Ce sont les limites entre un assistant utile et un système capable d’effectuer des paiements qui peut transformer une mauvaise inférence en une obligation réelle.
Le modèle mental utile est simple : l’hallucination est une erreur de contenu jusqu’à ce que le système ait une autorité. Après cela, le risque de l’IA agentique devient un risque opérationnel, un risque cyber et parfois un risque pour la stabilité financière. Géré de cette manière, le risque de l’IA agentique est un problème de conception avant d’être un problème médiatique. La partie dangereuse n’est pas que le logiciel semble confiant. C’est que cette confiance peut désormais être connectée à un bouton marqué « envoyer ».
Le risque de l’IA agentique est un problème de privilège et de propagation. Des chercheurs de Cambridge ont rapporté que l’IA agentique était déjà adoptée activement par 52 % des répondants du secteur financier interrogés, et que les hallucinations et les sorties peu fiables étaient considérées comme l’un des deux principaux risques liés à l’IA par les fournisseurs, les entreprises financières et les régulateurs.[s] Lorsque ces systèmes sont connectés à des identifiants de paiement, des flux de travail de marché ou des opérations bancaires, l’hallucination ne devient qu’une entrée de défaillance parmi d’autres dans un système de contrôle beaucoup plus vaste.
Ce sujet vient de celui qui signe les chèques, ce qui est approprié car la question d’ingénierie est de savoir ce qui se passe lorsqu’un système probabiliste obtient une autorité de dépense.
Visa a annoncé une collaboration avec OpenAI pour permettre des paiements Visa sécurisés dans le commerce agentique, et a précisé que les transactions utiliseront des permissions, des politiques et des contrôles définis, tels que des limites de dépenses, des catégories de commerçants ou des approbations requises.[s] Mastercard définit les agents comme des chatbots capables d’effectuer des actions telles qu’envoyer des e-mails ou commander de la nourriture, et indique que le commerce agentique peut tromper les systèmes de fraude car les achats automatisés peuvent survenir à des heures inhabituelles, dans différentes zones géographiques ou selon des schémas répétitifs rapides.[s]
Le risque de l’IA agentique comme problème de contrôle
Les agences cyber conjointes définissent les systèmes d’IA agentique comme un ou plusieurs agents qui s’appuient sur un modèle d’IA, tel qu’un LLM, pour interpréter l’état du monde, prendre des décisions et agir.[s] L’architecture est importante car la surface de défaillance inclut le modèle, les appels d’outils, la mémoire, les sources de données, les déclencheurs, les identités, les chemins d’approbation et les systèmes en aval.[s]
Le contrôle traditionnel des hallucinations demande si une sortie est vraie. Le contrôle agentique demande si le système doit être autorisé à exécuter l’étape suivante. L’hallucination de déni de l’IA est donc un symptôme, pas le risque complet. Un modèle qui rationalise sa propre erreur peut être agaçant dans un éditeur de documents. Dans un flux de paiement, ce même comportement peut devenir un problème d’audit si le système a également l’autorité d’initier ou d’approuver une transaction.
La règle d’ingénierie fondamentale est le principe du moindre privilège.[s] Les agents ne doivent recevoir que l’accès aux outils, les limites de transaction et la portée des données nécessaires à la tâche. L’écart de conformité apparaît lorsque les organisations traitent les prompts de politique comme s’il s’agissait de contrôles d’accès. Un prompt peut exprimer une intention, mais les réseaux de paiement, les livres de comptes bancaires, les systèmes de passation de marchés et les fournisseurs d’identité ont besoin de contraintes applicables qui ne dépendent pas du modèle interprétant correctement l’instruction.
De l’hallucination au comportement corrélé
Le problème de stabilité financière ne se limite pas à l’erreur d’un modèle individuel. La BRI a averti que l’IA peut accélérer les transactions et les ajustements de portefeuille, ce qui peut intensifier les mouvements de prix à court terme lorsque les conditions du marché changent.[s] La BRI a également averti que l’utilisation généralisée de modèles, de données ou de règles de décision similaires peut amener les institutions à réagir aux chocs de manière similaire, augmentant la corrélation des comportements.[s]
Voici le chemin qui mène d’un problème d’inférence local à un problème de marché. Un seul point de données halluciné peut être détecté. Un schéma de raisonnement partagé intégré dans des agents de conseil, des agents de gestion de trésorerie et des outils de soutien au trading peut créer un comportement synchronisé avant que les superviseurs ne voient la forme agrégée. Des chercheurs de la Réserve fédérale ont découvert que des agents d’IA, dans des environnements expérimentaux, pouvaient être incités à adopter un comportement moutonnier lorsqu’ils étaient explicitement guidés pour prendre des décisions visant à maximiser les profits.[s]
L’infrastructure de paiement montre pourquoi cela compte en dehors des salles de marché. Les chercheurs de la BRI décrivent les systèmes de paiement comme indispensables aux économies modernes car ils transfèrent de la valeur entre les particuliers, les entreprises et les gouvernements.[s] Dans des expériences basées sur des prompts, la BRI a constaté qu’un agent d’IA générative pouvait reproduire des tâches clés de gestion de trésorerie même sans formation spécialisée.[s] Un système capable de prioriser les paiements urgents et de gérer la liquidité peut être utile ; il a également besoin de contrôles pour les fausses prémisses, les entrées manipulées et les conditions de stress.
La partie systémique réside dans la vitesse plus le couplage
Le risque de l’IA agentique devient systémique lorsque plusieurs propriétés se combinent : autonomie, vitesse, infrastructure partagée, objectifs similaires et points d’interruption faibles. La BRI a averti qu’en période de stress, l’IA et la finance numérique peuvent réduire le temps disponible pour les institutions et les autorités pour réagir alors que les pressions de liquidité, les perturbations opérationnelles ou les réactions du marché se déroulent plus rapidement.[s] Cambridge a également averti que le déploiement rapide de l’IA agentique aggrave les vulnérabilités cyber et rend la supervision manuelle de plus en plus inefficace.[s]
Les agences cyber décrivent la version structurelle du même problème : la complexité de l’IA agentique peut introduire des défaillances en cascade et des attaques en plusieurs étapes, où un comportement compromis ou inattendu dans un composant se propage aux étapes suivantes et affecte l’ensemble du système.[s] C’est pourquoi les défaillances de fiabilité des services SaaS comptent ici. Un agent capable de paiement peut hériter des faiblesses de fiabilité, d’identité et de journalisation de chaque service dont il dépend.
La BCE a été directe sur l’environnement opérationnel. Elle a averti qu’une banque peut disposer de capitaux et de liquidités suffisants mais néanmoins faire face à de graves problèmes opérationnels, voire faire faillite, sans préparation et plans d’urgence robustes pour les chocs opérationnels.[s] Elle a également averti que les capacités cyber avancées augmentent en vitesse, en échelle et en accessibilité tandis que les défenseurs disposent de moins de temps pour réagir.[s]
Ce que doit supposer une bonne conception
Pour les banques, le risque de l’IA agentique doit être testé à la frontière du flux de travail : le point où une recommandation devient une instruction pour un autre système.
Un déploiement sérieux doit supposer que l’agent interprétera parfois mal l’intention, surajustera un objectif, fera confiance à un contexte hostile ou prendra une action localement rationnelle mais globalement dangereuse. La pile de contrôle doit donc se situer en dehors du modèle : plafonds de transaction stricts, listes blanches de commerçants et de contreparties, détection d’anomalies adaptée aux agents autorisés, approbation humaine pour les actions irréversibles, journaux durables, identifiants limités et interrupteurs d’arrêt immédiats.
La mesure de conception la plus importante consiste à séparer la recommandation de l’exécution. Laissons le modèle proposer, comparer et expliquer. Laissons les contrôles déterministes décider si l’action est autorisée. Laissons les humains approuver les actions qui créent des engagements juridiques, financiers ou opérationnels au-delà d’un périmètre préautorisé restreint. Dans cette architecture, le risque de l’IA agentique est géré comme un problème de système au lieu d’être écarté comme un problème de qualité des prompts.
Le compte bancaire est le seuil. Avant lui, une hallucination est une affirmation. Après lui, une hallucination peut devenir un paiement, une transaction, un achat légitime refusé, une décision de liquidité ou un incident cyber. La finance peut utiliser des agents, mais seulement si elle conçoit le système pour le moment où la réponse est fausse et où le système est encore assez rapide pour agir.
