Künstliche Intelligenz (KI)
Lücke in der KI-Rechenschaftspflicht
Autonome KI-Agenten können bei ihren Aktionen Fehler machen, die sogar juristische Auswirkungen haben. Aber wer wird dann zur Rechenschaft gezogen? Damit die Frage nicht unbeantwortet bleibt, bieten wir einen praktischen Rahmen, um eine entsprechende Governance aufzusetzen.
Save to Folio
2025 stellte ein Finanzdienstleistungsunternehmen fest, dass ein KI-Beschaffungsagent, der zur Automatisierung routinemäßiger Lieferantenvertragsverlängerungen eingesetzt worden war, über 40 Verträge außerhalb der genehmigten Parameter abgeschlossen hatte. Der Agent hatte mehrdeutige Genehmigungskriterien weit ausgelegt und bei jeder Entscheidung eigenständig gehandelt. Als das Problem entdeckt wurde, war das Unternehmen bereits rechtliche Verpflichtungen eingegangen, die es weder geprüft noch genehmigt hatte. Kein Mensch war für die Entscheidungen des Agenten zur Rechenschaft gezogen worden. Es gab kein Dokument mit einem festgelegten Aufgabenbereich. Der Prüfpfad war unvollständig. Es folgten drei behördliche Untersuchungen.
Wenn KI-Agenten Empfehlungen geben, Mitteilungen verfassen und in manchen Fällen sogar Maßnahmen im Namen des Unternehmens ergreifen, stellt sich die Frage, wer verantwortlich ist, wenn das KI-System einen Fehler macht. Viele Unternehmen können diese Frage nicht beantworten.
Diese Lücke in der Rechenschaftspflicht entsteht, wenn für autonome Systeme keine Governance-Architektur vorhanden ist. 70 % der Organisationen sehen sich einem zunehmenden regulatorischen Druck hinsichtlich der Rechenschaftspflicht im Bereich der KI ausgesetzt, stellte Thomson Reuters Institute 2025 fest.
Die Rechenschaftspflicht bildet jedoch die Grundlage dafür, dass ein Unternehmen alle Chancen der KI voll ausschöpfen kann – ohne Haftungsrisiko wegen fehlender Leitplanken. 33 % haben bereits ein entsprechendes Framework für die Unternehmensführung umgesetzt.
Die Lücke
Sie klafft zwischen „Wir lassen KI zu“ und „Wir wissen, wer verantwortlich ist, wenn die KI Fehler macht“. Eine Nutzungs-Policy legt fest, was Mitarbeiter mit KI tun dürfen. Ein Rechenschafts-Framework aber definiert, wer für das Ergebnis verantwortlich ist. Die meisten Organisationen verfügen nur über Ersteres. Bereits heute entstehen Kosten durch den unvollständig verwalteten Einsatz von GenAI. Dabei geht es um:
- Datenentscheidungen: GenAI fasst sensible Daten zusammen oder interpretiert sie, ohne dass ein Mensch die zugrunde liegenden Überlegungen überprüft. Fehler bleiben unsichtbar, bis sie zu einem falschen Ergebnis führen – und bis dahin ist die Entscheidung bereits getroffen.
- Entscheidungen bei Prozessen: GenAI ist in Arbeitsabläufe eingebettet, in denen die Ergebnisse nachgelagerte Aktionen auslösen, ohne dass bei jedem Schritt eine ausdrückliche menschliche Genehmigung erforderlich ist. Der Prozess läuft. Die Verantwortlichkeit dafür jedoch nicht.
- Externe Kommunikation: GenAI erstellt Entwürfe für Inhalte, die an Kunden, Aufsichtsbehörden oder Partner gesendet werden. Das Unternehmen ist rechtlich für alles verantwortlich, was es kommuniziert, unabhängig davon, wer oder was diese Inhalte erstellt hat.
Zwischen SOPs und Rechenschaftspflicht
Standard Operating Procedures (SOPs) wurden für von Menschen ausgeführte Prozesse verfasst, bei denen eine Person die Entscheidung traf und ihre Überlegungen darlegen kann. Wenn ein KI-System in den Prozess eingebunden ist, beschreibt die SOP zwar weiterhin den Arbeitsablauf, benennt jedoch nicht mehr die verantwortliche Partei.
Traditionelle KI-Governance ging davon aus, dass ein Mensch die Ergebnisse überprüft, bevor etwas geschieht. Die Verantwortung/Rechenschaftspflicht liegt beim Entscheidungsträger. Bei autonomen Agenten und ihren Aktionen entfällt dieser. Durch die Beseitigung des menschlichen Faktors aus einem Arbeitsablauf wird auch der Anker der menschlichen Verantwortlichkeit entfernt. Governance muss diesen ersetzen.
Governance benötigt daher drei Ebenen: wie der KI-gesteuerte Prozess abläuft (SOP), wer ihn verwaltet (Verantwortung) und wer die Rechenschaftspflicht für das Ergebnis hat. Deshalb müssen einige Fragen beantwortet sein, bevor ein Agent eingesetzt wird:
- Wer hat diesen Agenten ermächtigt, im Namen der Organisation zu handeln?
- Wie sieht der festgelegte Handlungsrahmen aus, innerhalb dessen dieser Agent handeln darf?
- Was geschieht, wenn der Agent außerhalb dieses Rahmens handelt?
- Wie sieht der Prüfpfad für jede vom Agenten durchgeführte Maßnahme aus?
- Wer ist die verantwortliche Person, wenn die Aktion eines Agenten Schaden zufügt?
Um sie zu beantworten, ist zwar der CISO erforderlich, aber auch die Leiter der Geschäftsbereiche, Experten aus den Bereichen Recht und Finanzen sowie Führungskräfte aus dem operativen Bereich, die die spezifischen Prozesse verstehen, in die der Agent eingebettet ist. Ein Finanzteam, das KI-gestützte Erkennung innerhalb eines ERP-Systems durchführt, hat einen anderen Verantwortungsbereich als ein Sicherheitsteam, das einen KI-Erkennungsagenten einsetzt. Beide benötigen Frameworks. Keines dieser Frameworks kann ohne die Anwesenheit der jeweiligen Fachexperten entworfen werden.
Cybersicherheits- versus Rechenschaftspflicht-Governance
Sicherheitsverantwortliche übernehmen häufig die Verantwortung für die KI-Governance, denn sie verstehen Risiken, kennen sich mit Systemen aus und wissen, was passiert, wenn etwas schiefgeht. Cybersicherheits-Governance beantwortet Fragen zum Zugriff und zu Bedrohungen: Wer hat Zugriff auf welche Systeme, und was passiert, wenn jemand eindringt?
Die Governance zur Rechenschaftspflicht bei KI beantwortet eine andere Reihe von Fragen (siehe oben). Der CISO spielt hier eine zentrale Rolle. Es handelt sich jedoch um eine umfassendere Herausforderung der Organisationsgestaltung und nicht um ein Problem des Sicherheitsbetriebs.
Die fünf Pfeiler der KI-Rechenschaftspflicht
Führungskräfte aus den Bereichen Sicherheit und Risikomanagement sollten eine praktische Governance-Architektur umsetzen, um die Lücke in der Rechenschaftspflicht zu schließen. Sie beruht auf fünf Pfeilern:
- Definition der Zuständigkeit Jedes KI-System hat eine namentlich benannte, verantwortliche Person – kein Team –, die für die Entscheidungen verantwortlich ist, die das System trifft oder mitteilt. Diese Person genehmigt den Anwendungsbereich, überprüft die Audit-Protokolle in festgelegten Abständen und ist für die Eskalation zuständig. Bei KI, die in Geschäftsfunktionen eingebettet ist, ist der verantwortliche Eigentümer der Leiter der Geschäftseinheit, nicht der CISO.
- Dokumentation des Anwendungsbereichs Jeder KI-Agent verfügt über einen definierten und dokumentierten Anwendungsbereich zulässiger Aktionen, bevor er in Betrieb genommen wird. Aktionen außerhalb dieses Bereichs lösen eine automatische Eskalation aus. Änderungen erfordern denselben Genehmigungsprozess wie eine neue Bereitstellung.
- Standard-Auditprüfpfade Jedes KI-System, das eine folgenreiche Entscheidung beeinflusst oder eine autonome Aktion ausführt, erzeugt ein nachvollziehbares Auditprotokoll: auf welche Daten zugegriffen wurde, welche Ausgabe generiert wurde, welche Aktion durchgeführt wurde und wann. Diese Protokolle sind abrufbar, für Menschen lesbar und werden gemäß den geltenden regulatorischen Anforderungen aufbewahrt.
- Kontrollen nach dem Prinzip der geringsten Berechtigungen Agenten arbeiten mit den für ihre definierte Funktion erforderlichen Mindestberechtigungen. Nicht-menschliche Identitäten (Agenten-Dienstkonten, API-Zugangsdaten) werden mit derselben Sorgfalt verwaltet wie menschliche Identitäten. Hier weisen die meisten Organisationen Lücken auf, und hier werden Agenten am häufigsten kompromittiert.
- Eskalations- und Kill-Switch-Architektur Der Eskalationspfad für Agentenverhalten, das außerhalb des zulässigen Rahmens liegt, muss bereits vor dem Auftreten eines Vorfalls festgelegt sein. Wer wird benachrichtigt? Welche Eindämmungsmaßnahmen werden ergriffen? Kann das System angehalten werden, ohne abhängige Prozesse zu stören? Dies muss im Voraus konzipiert werden.
Dieses Rahmenwerk funktioniert unabhängig davon, ob es für eine Handvoll GenAI-Tools, ein Portfolio maßgeschneiderter Agenten oder eine unternehmensweite KI-Fabrik geht.
Drei Dokumente verschaffen eine tragfähige KI-Governance-Strategie für jeden Vorstand oder Prüfungsausschuss:
- KI-Risikoregister in zusammengefasster Form
- Struktur der Verantwortlichkeiten mit namentlicher Nennung
- Übersicht über regulatorische Verpflichtungen
Dies sind einige der ersten Dinge, die Aufsichtsbehörden und Rechtsberater im Falle einer KI-bezogenen Governance-Frage anfordern werden.
Drei Startpunkte
Ein funktionsübergreifender AI-Governance-Ausschuss sollte die Verantwortung für diese Arbeit übernehmen: der CISO, die Leiter der Geschäftsbereiche sowie Vertreter der Rechts- und Finanzabteilungen. Wichtig ist, dass die richtigen Personen dabei sind. Führen Sie dann diese drei Schritte durch:
- Erstellen Sie eine Bestandsaufnahme Ihrer AI-Haftungsrisiken. Ordnen Sie jedes im Einsatz befindliche AI-System dem Fünf-Säulen-Framework zu. Identifizieren Sie Lücken in den Bereichen Zuständigkeit, Prüfpfad und Eskalation. Das ist die Ausgangsbasis.
- Benennen Sie die verantwortlichen Personen. Weisen Sie für jedes KI-System, das wichtige Entscheidungen beeinflusst oder eigenständig handelt, eine einzelne, namentlich genannte Person zu, die die Verantwortung trägt. Wenn Sie diese Personen heute noch nicht benennen können, ist das die erste Lücke, die es zu schließen gilt.
- Erstellen Sie das KI-Risikoregister. Beginnen Sie mit Ihren Systemen mit dem höchsten Risiko und arbeiten Sie sich von dort aus weiter vor. Der Aufbau des Registers deckt Verantwortungslücken schneller auf als jede Prüfung. Außerdem haben Sie so etwas Konkretes, das Sie bei Ihrer nächsten Vorstandssitzung vorlegen können.
Das KI-Risikoregister ist eine fortlaufend aktualisierte Aufstellung darüber, welche KI-Systeme im Einsatz sind, wem sie gehören, welche Risiken sie bergen und wie diese Risiken gesteuert werden. Es handelt sich dabei nicht um ein Produktverzeichnis, sondern um ein Dokument zur Rechenschaftspflicht.
Der Vorstand muss nicht verstehen, wie KI-Agenten funktionieren, sondern er muss verstehen, wofür das Unternehmen verantwortlich ist, wie das Risiko aussieht, wenn etwas schiefgeht, und welche Governance-Struktur zur Bewältigung dieses Risikos vorhanden ist.
Für weitere Einzelheiten und Anleitungen zur Compliance lesen Sie den ganzen Leitfaden.