Das Risiko durch Agentic-KI wird viel weniger abstrakt, wenn das Modell Geld ausgeben kann. Forscher der Universität Cambridge berichteten, dass Agentic-KI bereits bei 52 % der befragten Akteure aus der Finanzbranche aktiv eingesetzt wird, während Halluzinationen und unzuverlässige Ausgaben von KI-Anbietern, Finanzunternehmen und Aufsichtsbehörden als eines der beiden größten Risiken eingestuft wurden.[s] Das ist das neue Problem: Der alte Chatbot-Fehlermodus trifft auf Zahlungssysteme, Bankprozesse und Finanzmärkte.
Derjenige, der die Schecks unterschreibt, hat dieses Thema auf den Tisch gebracht, ein passender Scherz, denn genau in diesem Moment hört die Software auf zu plaudern und fängt an zu zahlen.
Eine Halluzination in einer Suchantwort kann einen Menschen in die Irre führen. Eine Halluzination innerhalb eines Agenten, der Bestellungen aufgeben, Rechnungen genehmigen, Liquidität verschieben oder Trades auslösen darf, kann eine Aktion auslösen, die andere Systeme verarbeiten müssen. Visa hat eine Zusammenarbeit mit OpenAI angekündigt, um Visa-Zahlungen im Rahmen des Agentic Commerce zu ermöglichen, und erklärte, dass diese Transaktionen unter Nutzerberechtigungen und Kontrollen wie Ausgabenlimits, Händlerkategorien oder erforderlichen Genehmigungen ablaufen würden.[s] Mastercard beschreibt Agenten als Chatbots, die Aktionen wie das Versenden von E-Mails oder das Bestellen von Essen ausführen können, und warnt, dass legitime Agent-Transaktionen verdächtig wirken können, wenn sie zu ungewöhnlichen Zeiten, über verschiedene Geografien hinweg oder in schnellen, sich wiederholenden Mustern stattfinden, die Betrugs-Bots ähneln.[s]
Agentic-KI-Risiko beginnt mit Berechtigungen
Ein Agent ist nicht einfach ein Modell mit einer benutzerfreundlicheren Oberfläche. Gemeinsame Cybersicherheitsbehörden beschreiben Agentic-KI-Systeme als einen oder mehrere Agenten, die sich auf ein KI-Modell stützen, um die Welt zu interpretieren, Entscheidungen zu treffen und Maßnahmen zu ergreifen.[s] In normaler Sprache ist das wichtige Verb „ergreifen“. Sobald Software Maßnahmen ergreifen kann, ändert sich die Sicherheitsfrage von „Ist die Antwort wahr?“ zu „Was kann dieses System tun, wenn es falsch liegt?“
Deshalb ist die KI-Leugnungs-Halluzination im Finanzwesen nicht nur ein Ärgernis für Nutzer. Wenn ein Assistent eine Rückerstattungsrichtlinie erfindet, eine Händlerkategorie falsch liest oder eine Unternehmensanweisung fälschlicherweise als Zahlungsautorisierung interpretiert, ist der Schaden nicht mehr auf das Chatfenster beschränkt. Die Compliance-Lücke verschiebt sich von der Formulierung zum Workflow: Wer hat die Aktion genehmigt, welches Limit galt, welches System hat sie protokolliert und ob ein Mensch sie rechtzeitig stoppen konnte.
Zahlungssysteme machen dies noch deutlicher. BIZ-Forscher bezeichnen Zahlungssysteme als Lebensnerv moderner Volkswirtschaften, weil sie Werte zwischen Privatpersonen, Unternehmen und Regierungen übertragen.[s] In einem BIZ-Experiment konnte ein generativer KI-Agent wichtige Cash-Management-Aufgaben ohne spezielle Schulung nachbilden, einschließlich Entscheidungen über Liquiditätspuffer, dringende Zahlungen und Abwicklungsverzögerungen.[s] Das ist vielversprechend. Es zeigt aber auch, warum das Agentic-KI-Risiko in dieselbe Diskussion gehört wie die Finanzinfrastruktur, und nicht nur die Sicherheit von Verbraucher-Chatbots.
Warum sich eine einzige falsche Antwort verbreiten kann
Systemische Risiken erfordern nicht, dass jeder Agent versagt. Sie können entstehen, wenn viele Systeme ähnlich reagieren, zu schnell handeln oder von denselben wenigen Anbietern abhängig sind. Die BIZ warnte, dass KI den Handel und die Portfolioanpassungen beschleunigen kann, was kurzfristige Preisbewegungen verstärken kann, wenn sich die Marktbedingungen ändern.[s] Sie warnte auch, dass die weitverbreitete Nutzung ähnlicher KI-Modelle, Daten oder Entscheidungsregeln dazu führen kann, dass Institutionen auf Schocks ähnlich reagieren und so die Verhaltenskorrelation erhöhen.[s]
Das ist die Brücke von der Halluzination zum systemischen Risiko. Das Problem ist nicht nur „das Modell hat sich etwas ausgedacht“. Das Problem ist „viele Systeme haben einem ähnlichen Prozess vertraut, handelten schneller, als die Überprüfung mithalten konnte, und gaben sich gegenseitig bestätigende Signale“. Forscher der Federal Reserve fanden heraus, dass KI-Agenten in Experimenten dazu gebracht werden konnten, Herdenverhalten zu zeigen, wenn sie explizit auf gewinnmaximierende Entscheidungen ausgerichtet wurden.[s] An den Märkten ist Herdenverhalten keine Science-Fiction. Es ist ein Weg, wie Automatisierung einen überfüllten Handel noch überfüllter machen kann.
Die Sicherheit bietet einen weiteren Weg. Gemeinsame Cybersicherheitsbehörden warnen, dass die Komplexität von Agentic-KI kaskadierende Ausfälle und mehrstufige Angriffe auslösen kann, bei denen kompromittiertes oder unerwartetes Verhalten in einer Komponente sich auf spätere Schritte auswirkt und das gesamte System beeinträchtigt.[s] In einer Bank bedeutet das: Das Problem ist nicht nur das Modell allein. Es ist das Modell plus Speicher, Tools, Berechtigungen, Protokollierung, Genehmigungen, Anbietersysteme und die SaaS-Zuverlässigkeitsprobleme, die unter dem Workflow liegen.
Das Bankkonto verändert das Fehlerbudget
Bestehende Kontrollen für fehlerhafte Eingaben, Betrugsversuche und operative Vorfälle sind nur ein Teil der Lösung. Das Agentic-KI-Risiko ist anders, weil sich der Zeitrahmen ändert. Die BIZ warnte, dass KI und digitale Finanzen unter Stress den Zeitrahmen für Institutionen und Behörden verkürzen können, um auf Liquiditätsengpässe, operative Störungen oder Marktreaktionen zu reagieren, die sich schneller entwickeln.[s] Manuelle Aufsicht kann dann zu einem Ritual nach der Aktion werden, statt zu einer Kontrolle davor.
Die EZB macht denselben Punkt aus operativer Sicht. Sie warnte, dass eine Bank über ausreichend Kapital und Liquidität verfügen kann, aber dennoch schwere operative Probleme oder sogar einen Ausfall erleiden kann, wenn es an Vorbereitung und Notfallplanung für operative Schocks mangelt.[s] Sie warnte auch, dass die Geschwindigkeit, der Umfang und die Zugänglichkeit fortschrittlicher Cyberfähigkeiten zunehmen, während die Reaktionszeit für Verteidiger schrumpft.[s]
Die praktische Antwort besteht nicht darin, Agenten im Finanzwesen zu verbieten. Es geht darum, sie wie Hochrisiko-Operatoren mit eng begrenzten Befugnissen zu behandeln. Ausgabenlimits, Händlerbeschränkungen, separate Genehmigungen für neue Geschäftspartner, unveränderliche Protokolle, schnelle Widerrufsoptionen und Tests gegen Prompt-Injection sind keine kosmetischen Maßnahmen. Sie sind die Grenze zwischen einem nützlichen Assistenten und einem zahlungsfähigen System, das eine falsche Schlussfolgerung in eine echte Verpflichtung verwandeln kann.
Das nützliche mentale Modell ist einfach: Eine Halluzination ist ein Inhaltsfehler, bis das System Befugnisse hat. Danach wird das Agentic-KI-Risiko zu einem operativen Risiko, einem Cyberrisiko und manchmal zu einem Risiko für die Finanzstabilität. So betrachtet, ist das Agentic-KI-Risiko ein Designproblem, bevor es zu einem Schlagzeilenproblem wird. Die Gefahr liegt nicht darin, dass die Software selbstsicher klingt. Sie liegt darin, dass diese Selbstsicherheit nun mit einem Knopf verbunden sein kann, der mit „Senden“ beschriftet ist.
Agentic-KI-Risiko ist ein Problem von Berechtigungen und Verbreitung. Forscher der Universität Cambridge berichteten, dass Agentic-KI bereits bei 52 % der befragten Akteure aus der Finanzbranche aktiv eingesetzt wird und dass Halluzinationen und unzuverlässige Ausgaben von KI-Anbietern, Finanzunternehmen und Aufsichtsbehörden als eines der beiden größten KI-Risiken eingestuft wurden.[s] Wenn diese Systeme mit Zahlungsdaten, Markt-Workflows oder Bankprozessen verbunden sind, wird die Halluzination zu nur einem Fehlerfaktor in einem viel größeren Kontrollsystem.
Dieses Thema stammt von demjenigen, der die Schecks unterschreibt, passend, denn die technische Frage lautet: Was passiert, wenn ein probabilistisches System Ausgabenbefugnisse erhält?
Visa hat eine Zusammenarbeit mit OpenAI angekündigt, um sichere Visa-Zahlungen im Rahmen des Agentic Commerce zu ermöglichen, und erklärte, dass Transaktionen definierte Berechtigungen, Richtlinien und Kontrollen wie Ausgabenlimits, Händlerkategorien oder erforderliche Genehmigungen nutzen werden.[s] Mastercard definiert Agenten als Chatbots, die Aktionen wie das Versenden von E-Mails oder das Bestellen von Essen ausführen können, und warnt, dass Agentic Commerce Betrugssysteme verwirren kann, weil automatisierte Käufe zu ungewöhnlichen Zeiten, über verschiedene Geografien hinweg oder in schnellen, sich wiederholenden Mustern stattfinden können.[s]
Agentic-KI-Risiko als Kontrollproblem
Gemeinsame Cybersicherheitsbehörden definieren Agentic-KI-Systeme als einen oder mehrere Agenten, die sich auf ein KI-Modell wie ein LLM stützen, um den Zustand der Welt zu interpretieren, Entscheidungen zu treffen und Maßnahmen zu ergreifen.[s] Die Architektur ist entscheidend, weil die Fehleroberfläche das Modell, Tool-Aufrufe, Speicher, Datenquellen, Auslöser, Identitäten, Genehmigungspfade und nachgelagerte Systeme umfasst.[s]
Die traditionelle Halluzinationskontrolle fragt, ob eine Ausgabe wahr ist. Die Agentic-Kontrolle fragt, ob das System den nächsten Schritt ausführen darf. Die KI-Leugnungs-Halluzination ist daher ein Symptom, nicht das volle Risiko. Ein Modell, das seinen eigenen Fehler rationalisiert, kann in einem Dokumenteneditor ärgerlich sein. In einem Zahlungs-Workflow kann dasselbe Verhalten zu einem Prüfungsproblem werden, wenn das System auch die Befugnis hat, eine Transaktion zu initiieren oder zu genehmigen.
Die zentrale technische Regel lautet: Prinzip der geringsten Berechtigung.[s] Agenten sollten nur den Tool-Zugriff, Transaktionslimits und Datenumfang erhalten, die für die Aufgabe erforderlich sind. Die Compliance-Lücke entsteht, wenn Organisationen Richtlinien-Prompts so behandeln, als wären sie Zugriffskontrollen. Ein Prompt kann eine Absicht ausdrücken, aber Zahlungsnetzwerke, Bankbücher, Beschaffungssysteme und Identitätsanbieter benötigen durchsetzbare Beschränkungen, die nicht davon abhängen, dass das Modell die Anweisung korrekt interpretiert.
Von der Halluzination zum korrelierten Verhalten
Das Problem der Finanzstabilität ist nicht nur der Fehler eines einzelnen Modells. Die BIZ warnte, dass KI den Handel und die Portfolioanpassungen beschleunigen kann, was kurzfristige Preisbewegungen verstärken kann, wenn sich die Marktbedingungen ändern.[s] Die BIZ warnte auch, dass die weitverbreitete Nutzung ähnlicher KI-Modelle, Daten oder Entscheidungsregeln dazu führen kann, dass Institutionen auf Schocks ähnlich reagieren und so die Verhaltenskorrelation erhöhen.[s]
Das ist der Weg von einem lokalen Inferenzproblem zu einem Marktproblem. Ein einzelner halluzinierter Datenpunkt kann möglicherweise erkannt werden. Ein gemeinsames Denkschema, das in Beratungsagenten, Cash-Management-Agenten und Handelstools eingebettet ist, kann synchronisiertes Verhalten erzeugen, bevor Aufsichtsbehörden die aggregierte Form erkennen. Forscher der Federal Reserve fanden heraus, dass KI-Agenten in experimentellen Settings dazu gebracht werden konnten, Herdenverhalten zu zeigen, wenn sie explizit auf gewinnmaximierende Entscheidungen ausgerichtet wurden.[s]
Die Zahlungsinfrastruktur zeigt, warum dies auch außerhalb der Handelsabteilungen relevant ist. BIZ-Forscher bezeichnen Zahlungssysteme als Lebensnerv moderner Volkswirtschaften, weil sie Werte zwischen Privatpersonen, Unternehmen und Regierungen übertragen.[s] In Experimenten mit Prompts stellte die BIZ fest, dass ein generativer KI-Agent wichtige Cash-Management-Aufgaben auch ohne spezielle Schulung nachbilden konnte.[s] Ein System, das dringende Zahlungen priorisieren und Liquidität verwalten kann, ist nützlich; es benötigt jedoch Kontrollen für falsche Prämissen, manipulierte Eingaben und Stressbedingungen.
Das Systemische liegt in Geschwindigkeit plus Kopplung
Agentic-KI-Risiko wird systemisch, wenn mehrere Eigenschaften zusammenkommen: Autonomie, Geschwindigkeit, gemeinsame Infrastruktur, ähnliche Ziele und schwache Unterbrechungspunkte. Die BIZ warnte, dass KI und digitale Finanzen unter Stress den Zeitrahmen für Institutionen und Behörden verkürzen können, um auf Liquiditätsengpässe, operative Störungen oder Marktreaktionen zu reagieren, die sich schneller entwickeln.[s] Cambridge warnte ähnlich, dass die schnelle Einführung von Agentic-KI Cyber-Schwachstellen verstärkt und die manuelle Aufsicht zunehmend unwirksam macht.[s]
Cybersicherheitsbehörden beschreiben die strukturelle Version desselben Problems: Die Komplexität von Agentic-KI kann kaskadierende Ausfälle und mehrstufige Angriffe auslösen, bei denen kompromittiertes oder unerwartetes Verhalten in einer Komponente sich auf spätere Schritte auswirkt und das gesamte System beeinträchtigt.[s] Deshalb sind SaaS-Zuverlässigkeitsprobleme hier relevant. Ein zahlungsfähiger Agent kann die Zuverlässigkeits-, Identitäts- und Protokollierungsschwächen jedes Dienstes erben, von dem er abhängt.
Die EZB war in ihrer Einschätzung des operativen Umfelds deutlich. Sie warnte, dass eine Bank über ausreichend Kapital und Liquidität verfügen kann, aber dennoch schwere operative Probleme oder sogar einen Ausfall erleiden kann, wenn es an Vorbereitung und robuster Notfallplanung für operative Schocks mangelt.[s] Sie warnte auch, dass sich die Geschwindigkeit, der Umfang und die Zugänglichkeit fortschrittlicher Cyberfähigkeiten erhöhen, während die Reaktionszeit für Verteidiger schrumpft.[s]
Was gutes Design voraussetzen muss
Für Banken sollte das Agentic-KI-Risiko an der Workflow-Grenze getestet werden: dem Punkt, an dem eine Empfehlung zu einer Anweisung an ein anderes System wird.
Ein seriöser Einsatz muss davon ausgehen, dass der Agent manchmal Absichten falsch interpretiert, sich zu stark an ein Ziel anpasst, feindlichen Kontext vertraut oder eine lokal rationale Aktion ergreift, die global unsicher ist. Der Kontrollstack sollte daher außerhalb des Modells liegen: harte Transaktionsobergrenzen, Positivlisten für Händler und Geschäftspartner, Anomalieerkennung, die auf autorisierte Agenten abgestimmt ist, menschliche Genehmigung für irreversible Aktionen, dauerhafte Protokolle, eingeschränkte Berechtigungen und sofortige Notausschalter.
Der wichtigste Designschritt besteht darin, Empfehlung und Ausführung zu trennen. Lassen Sie das Modell vorschlagen, vergleichen und erklären. Lassen Sie deterministische Kontrollen entscheiden, ob die Aktion erlaubt ist. Lassen Sie Menschen Aktionen genehmigen, die rechtliche, finanzielle oder operative Verpflichtungen über einen eng begrenzten, vorab autorisierten Rahmen hinaus schaffen. In dieser Architektur wird das Agentic-KI-Risiko als Systemproblem behandelt, statt als Problem der Prompt-Qualität weggewünscht zu werden.
Das Bankkonto ist die Schwelle. Davor ist eine Halluzination eine Behauptung. Danach kann eine Halluzination zu einer Zahlung, einem Trade, einer abgelehnten legitimen Kaufanfrage, einer Liquiditätsentscheidung oder einem Cybervorfall werden. Das Finanzwesen kann Agenten nutzen, aber nur, wenn es für den Moment plant, in dem die Antwort falsch ist und das System trotzdem schnell genug handelt.
