Künstliche Intelligenz (KI)
Leitfaden für die Governance autonomer KI Agents
Unter wessen Autorität und in welchem Umfang dürfen KI-Agenten handeln? Auf Basis der für KI-Agenten spezifischen Risikostruktur unterstützt unser Sicherheitsframework mit Methoden für technische und organisatorische Kontrollmaßnahmen.
Save to Folio
Wichtige Erkenntnisse
- Das Risiko steigt mit der Autonomie, nicht nur mit der Leistungsfähigkeit. Während sich Agenten von L1 (vom Menschen ausgeführt) in Richtung L5 (Multi-Agent, vollständig autonom) bewegen, manifestieren sich Fehler nun als reale Systemaktionen, und eine einzige Fehleinschätzung kann zu einem nicht nachprüfbaren, systemweiten Ausfall führen.
- Drei strukturelle Probleme sind für den Großteil des Agentenrisikos verantwortlich: unkontrollierte Berechtigungen und Identitäten (Agenten als nicht-menschliche Auftraggeber mit übermäßiger oder sich verschiebender Befugnis), Black-Boxing (die Unfähigkeit, im Nachhinein nachzuvollziehen, warum ein Agent eine bestimmte Handlung ausgeführt hat) und unsichere Interaktion mit der externen Umgebung (nicht vertrauenswürdige Eingaben, überprivilegierte Werkzeuge, unklare Verantwortung der Anbieter).
- Governance muss als ganzheitliches System bewertet werden, nicht als Checkliste. Das AI Control Assurance Level (AI-CAL)-Modell verknüpft die minimal erforderlichen Kontrollmaßnahmen mit dem Autonomiegrad, und eine gute Bewertung in einem Bereich gleicht einen Schwachpunkt in einem anderen Bereich nicht aus.
Unternehmen haben hohe Erwartungen an „KI-Agenten“, die mittlerweile zu echter Autonomie fähig sind. Laut dem PwC-Bericht „Global Digital Trust Insights 2026“ (basierend auf einer Befragung von 3.887 Führungskräften in 72 Ländern) zählen 35 % der Sicherheitsverantwortlichen die Stärkung der Fähigkeiten von KI-Agenten zu ihren Prioritäten für die nächsten 12 Monate, doch nur 6 % der Unternehmen verfügen über ausreichende Reaktionskapazitäten in allen Schwachstellenbereichen. Die Kluft zwischen den Erwartungen an KI-Agenten und der Bereitschaft, diese zu steuern, ist bereits erkennbar
Wir haben in Zusammenarbeit mit PwC einen Bericht erstellt, der die Sicherheits- und Governance-Aspekte systematisch ordnet, die Unternehmen bei der Einführung und Nutzung von KI-Agenten berücksichtigen sollten, und der eine Richtung für das Risikomanagement vorgibt. Zunächst stellen wir die für KI-Agenten spezifische Risikostruktur vor, dann einen auf Autonomie und Architektur basierenden analytischen Rahmen, und schließlich folgen Überlegungen hinter technischen und organisatorischen Kontrollmaßnahmen. Der vollständige Report steht hier zum Download zur Verfügung.
Ein Framework für die Risikoanalyse
Das Framework listet nicht einzelne Risiken auf, sondern erfasst die Struktur, in der Risiken entstehen, sowie die Phase, in der die Annahmen hinter den Kontrollmaßnahmen versagen. Dafür haben wir die Bedrohungstaxonomie aus der „Agentic Security Initiative“ (ASI) des Open Web Application Security Project (OWASP) mit dem Spektrum der KI-Autonomie – von „Assistiv“ (L1) bis „Vollständig autonom“ (L5) – abgeglichen und fünf Funktionsbereichen zugeordnet. Die fünf Level beschreibt der Bericht.
Die Erörterung des Frameworks wurde auf drei Themenbereiche verdichtet:
Der Bereich „Governance & Identität“ und das Berechtigungsmanagement: Wenn ein Agent sich hin zur Delegation von Aufgaben an andere Agenten und externe Tools entwickelt, sind Identität und Berechtigungen Fragen der Steuerung der Geschäftsabwicklung. Es entstehen Probleme, wie bestehende übermäßige Berechtigung, Abweichung von Berechtigungen durch Delegierungsketten oder unklare Verantwortungslinien. Deshalb bedarf es eines neuen Modells zur Berechtigungsverwaltung, das auf Delegationsumfang, Genehmigungsbedingungen, Ablaufdaten und Prüfpfaden basiert. Erst dann wird der Einsatz von KI nicht mehr nur eine Frage der Effizienz, sondern der nachvollziehbaren Kontrolle.
Autonomie und Black-Boxing: Das Problem ergibt sich aus dem Zusammenspiel von Kognition, Gedächtnis, sowie Aufsicht und Orchestrierung. Je höher der Autonomiegrad, desto stärker greift ein KI-Agent auf vergangene Erinnerungen zurück, entwickelt Pläne, passt seine Handlungen unter Berücksichtigung von Zwischenergebnissen an und ruft bei Bedarf andere Tools und Agenten auf. Ein Mensch ist kaum imstande, die Kausalkette im Nachhinein nachzuvollziehen. Was daher benötigt wird, ist nicht nur Prävention. Ein sicherer Betrieb von KI-Agenten erfordert zunächst die Beobachtbarkeit, um die Aktionskette nachverfolgen zu können – anhand des Verlaufs der Planerstellung, der Protokolle über den Aufruf von Werkzeugen, der Speicherreferenz- und Aktualisierungsprotokolle, der Aufzeichnungen über Genehmigungen und Rückübermittlungen sowie des Verlaufs externer Verbindungen. Außerdem ist die Steuerbarkeit erforderlich, um eine teilweise Abschaltung durchzuführen oder in einen sicheren Zustand zu wechseln, wenn etwas schiefgeht. Ein Mechanismus, der sich nicht erklären lässt, kann weder gestoppt noch abgewehrt noch ihm vertraut werden. Es ist eine Kernfrage, die darüber entscheidet, ob ein Unternehmen einen KI-Agenten als etwas betrachten kann, das es kontrollieren kann.
Interaktion mit der externen Umgebung. Das Risiko hier betrifft vor allem den Bereich „Action & Tools“, einen der fünf Funktionsbereiche von KI-Agenten, wirkt sich aber auch auf andere Bereiche (Kognition, Gedächtnis sowie Aufsicht und Koordination über externen Input) aus. Dies ist ein Problem der Autonomiestufe L3, wenn ein KI-Agent Suchfunktionen, APIs, E-Mail, Code-Ausführungsumgebungen, SaaS und andere Systeme nutzt, um seine Arbeit auszuführen: Die externe Konnektivität wird zum zentralen Faktor, der das Risiko verstärkt. Externe Informationen, die als Suchergebnisse, Dokumente, Webinhalte oder Nachrichten von anderen Akteuren schädliche Anweisungen oder Fehlinformationen enthalten, können Pläne und Einschätzungen verfälschen. Wenn ein KI-Agent eine Verbindung zur externen Umgebung herstellt, deren Beobachtbarkeit und Steuerbarkeit unzureichend sind, wird es schwierig, eine Kompromittierung zu erkennen und einzudämmen. Bei der Sicherheit von KI-Agenten geht es daher nicht nur um den Schutz des KI-Modells allein, sondern darum, das System als ein Ganzes zu konzipieren: Wer greift mit welchen Berechtigungen auf welche Daten zu, wo wird gehandelt und mit welchen Tools, und wie wird dieser Prozess überwacht und gestoppt?
Maßnahmen zur Risikominderung
Maßnahmen zur Risikominderung können nicht einfach nur eine Auflistung einzelner Technologien sein. Sie müssen nach dem Autonomiegrad und den Bedingungen geordnet sein, mit denenein KI-Agent sicher in den Betrieb gehen kann. Diese Denkweise bezeichnen wir als „AI Control Assurance Level“ (AI-CAL).
Es gibt vier AI-CAL-Stufen, die jeweils an eine Autonomiestufe gekoppelt sind und auf den von der vorhergehenden Stufe geforderten Kontrollmaßnahmen aufbauen.
- AI-CAL1 (L1 bis L2): Mindestvoraussetzungen für den unterstützenden und halbautonomen Einsatz. Das Ziel auf dieser Stufe besteht darin, den Missbrauch und den Informationsverlust, die mit dem Einsatz von KI einhergehen, einzudämmen und gleichzeitig die Kontrolle beim Menschen zu belassen.
- AI-CAL2 (L3): Mindestvoraussetzungen für bedingte Autonomie. AI-CAL2 deckt die Phase ab, in der KI automatisch Verarbeitungsvorgänge innerhalb vordefinierter Bedingungen oder Regeln durchführt, wobei die Ausführung von Werkzeugen und die Beibehaltung von Zuständen begrenzt sind. Es handelt sich um die Mindestschwelle, ab der erstmals rigoros geprüft wird, ob ein KI-Agent in den produktiven Einsatz gehen darf.
- AI-CAL3 (L4): Mindestbedingungen für hohe Autonomie. Diese Stufe umfasst die Phase, in der KI mehrstufige Aufgaben plant und unter kontinuierlichem Rückgriff auf den Speicher mehrere Werkzeuge und Systeme koordiniert, um die Arbeit auszuführen. Da in dieser Phase Kognition, Gedächtnis, Überwachung und Koordination sowie Handeln und Werkzeuge eng miteinander verzahnt sind, kann sich ein Teilfehler leicht zu einer Fehlerkette ausweiten.
- AI-CAL4 (L5): Mindestvoraussetzungen für volle Autonomie. AI-CAL4 umfasst die Phase, in der sich mehrere Agenten und Dienste koordinieren, um umfassende Geschäftsprozesse durch Delegation, gemeinsamen Status und Langzeitgedächtnis auszuführen.
Empfehlungen
Diese Prioritäten zielen auf die Grundursachen der beschriebenen Risiken ab, nicht auf ein einzelnes Tool oder eine einzelne Technologie. Hier ist der Ausgangspunkt:
Beginnen Sie mit einer ehrlichen Bestandsaufnahme. Bevor Sie Kontrollmaßnahmen einführen, erfassen Sie, welche KI-Agenten (einschließlich inoffizieller „Schatten-KI“-Nutzung) tatsächlich existieren, auf welche Berechtigungen und Daten sie zugreifen und inwieweit ihr Verhalten derzeit protokolliert oder beobachtbar ist.
Beheben Sie zuerst Probleme mit Berechtigungen und Identitäten. Behandeln Sie jeden KI-Agenten als eigenständigen, nicht-menschlichen Auftraggeber – wenden Sie das Prinzip der geringsten Berechtigungen, Just-in-Time-Zugriff und klare Delegationsgrenzen an –, da dies die Grundursache für die meisten der aufgezeigten Angriffsszenarien ist.
Bauen Sie Beobachtbarkeit und Kontrollierbarkeit als Einheit auf. Machen Sie das Verhalten von Agenten nachvollziehbar und aufhaltbar. Prävention allein reicht nicht aus, sobald Agenten mit nicht vertrauenswürdigen externen Eingaben interagieren.
Führen Sie eine Überprüfung der Produktionsreife ein. Formalisieren Sie eine Bewertung nach dem Vorbild von AI-CAL. Dazu gehört die Festlegung, wer einen Agenten für den Produktionsbetrieb freigibt, auf welcher Autonomieebene dies geschieht und wann eine Neubewertung erforderlich ist – beispielsweise bei neuen Tools, Modellaktualisierungen, Speichererweiterungen und der Einführung mehrerer Agenten.
Betrachten Sie dies als schrittweisen Aufbau und nicht als einmaliges Projekt. Gehen Sie bewusst von der menschenzentrierten Steuerung (L1 bis L2) zur bedingten Autonomie (L3) über, bevor Sie eine hohe oder vollständige Autonomie (L4 bis L5) in Betracht ziehen, da Standards und Anbieter-Tools für Letzteres noch nicht ausgereift sind. Verbinden Sie die technische Einführung mit einer klaren Governance-Struktur, dem Aufbau von Kompetenzen und einer definierten Verantwortlichkeit über Anbieter und Dienstleister hinweg.
Laden Sie den vollständigen Bericht herunter, um die Roadmap für die KI-Agenten-Governance des Unternehmens zu erstellen.