Künstliche Intelligenz (KI)
Steuerung der Republik der KI-Agenten
KI-Agenten können nicht länger nur als Software behandelt werden. Ihre Fähigkeiten lassen eine neue organisatorische Realität entstehen – die Republik der Agenten. Wir schlagen ein Governance-Framework für deren Regierung vor.
Save to Folio
Klassische Software folgte über Jahrzehnte einem deterministischen Modell aus festen Entscheidungsregeln – „if, then, else“. Programme führten aus, was zuvor exakt definiert wurde. Governance beschränkte sich dabei im Wesentlichen auf Code Reviews, Qualitätssicherung und Versionskontrolle. Mit dem Aufkommen autonomer KI-Agenten endet diese Ära. KI-Agenten führen nicht mehr nur vordefinierte Abläufe aus, sondern können argumentieren, kommunizieren, Entscheidungen vorbereiten oder sogar treffen und im Auftrag von Mitarbeitenden, Abteilungen oder ganzen Organisationen handeln.
Das bedeutet aber, dass Unternehmen KI-Agenten nicht länger nur als Software behandeln können. Sobald diese Agenten Zugriff auf sensible Daten erhalten, mit Kolleginnen und Kollegen interagieren, Entscheidungen treffen oder delegierte Autorität ausüben, entsteht eine neue organisatorische Realität.
Agenten verwalten nicht mehr Software, sondern eine Republik. Die Behandlung von KI-Agenten als Republik erfordert dieselben Steuerungsstrukturen, die menschliche Gesellschaften über Jahrhunderte hinweg entwickelt haben. Unternehmen, die KI-Agenten ohne diese Strukturen einsetzen, bauen einen Staat ohne Regierung auf – und die Geschichte hat uns gelehrt, wie das endet.
Die sechs Säulen
TrendAI™ fasst diese Herausforderung als die Steuerung einer „Republik der KI-Agenten“ zusammen. Wir schlagen ein Governance—Framework vor, das auf sechs Säulen basiert: Verfassung, Staatsbürgerschaft, Grenzkontrollen, Gewaltenteilung, Validierungsmechanismen und Rechenschaftspflichten.
Grundlage für das Framework ist die Erkenntnis, dass KI-Agenten ohne klare Grenzen erhebliche Risiken erzeugen. Deshalb ist ein Mindestmaß an Governance notwendig, die aus mehreren Richtlinien besteht: eine zur Erstellung von Agenten, eine zur Klassifizierung erlaubter und verbotener Daten, eine zur Zugriffspolitik für Nutzeranfragen sowie eine Lifecycle-Policy für Erstellung, Deaktivierung und Löschung von Agenten.
1. Verfassung
Dieses zentrale Element der Governance muss festlegen, welche Autorität ein Agent besitzt, auf welche Daten er zugreifen darf, mit wem er kommunizieren darf und welche Einwilligungen erforderlich sind. Mitarbeitende sollen ausdrücklich zustimmen müssen, wenn ein Agent auf ihrer Grundlage erstellt wird. Ebenso sollen sie Transparenz über die Datennutzung, ein Recht auf Ablehnung ohne Nachteile und ein Recht auf Löschung erhalten. Dies muss als technisch durchsetzbares Regelwerk aufgesetzt sein und in System-Prompts, RLHF-Beschränkungen, fest kodierten Grenzen, operativen Limits und Policy Engines verankert werden.
2. Staatsbürgerschaft
Nicht jeder Agent darf automatisch als legitimer Teilnehmer der Organisation gelten. Vor einer Zulassung muss geprüft werden, aus welchen Datenquellen der Agent gespeist wurde und welches Wissen er enthält. Ebenso muss untersucht werden, welche Entscheidungslogiken, Muster und Denkweisen er gelernt hat.
Wegen des Problems der vorhanden sogenannten Schattenagenten ist dies wichtig. Es geht dabei um KI-Agenten außerhalb offizieller Unternehmensstrukturen, etwa durch Angreifer oder fahrlässige Insider. Der Agent kann eine Kopie eines legitimen Agenten sein oder extern aus öffentlich verfügbaren und abgegriffenen Daten erzeugt werden.
Über Diebstahl von Tokens, Prompts und RAG-Konfigurationen, ist es möglich, in Kombination mit öffentlichen Daten aus Quellen wie LinkedIn, GitHub oder Vorträgen teilweise Klone realer Personen oder Arbeitsprofile zu erstellen. Künftig könnten Edge-KI-Systeme und lokale Modell-Caches das Risiko erhöhen, weil Modellartefakte portabel werden. Zudem erben Schatten-KI-Agenten alle KI-Schwachstellen.
Besonders gefährlich sind Consumer-KI-Plattformen wie persönliche KI-Assistenten mit Speicherfunktion. Wenn Mitarbeitende Unternehmensdaten in Dienste wie Google Personal Intelligence, ChatGPT Memory oder Claude Memory eingeben, verliert die Organisation die Kontrolle über Datenflüsse und spätere Nutzung.
Bestehende Ansätze können zwar Eigentum und Zugriffskontrolle behandeln, aber die Lieferkette von KI-Agenten kaum berücksichtigen. TrendAI™ arbeitet daher an einer Art „Software Bill of Materials“ für KI-Agenten. Diese soll Modellherkunft, Trainingsdaten, Prompt-Architektur und Tool-Zugriffe dokumentieren. Ergänzend soll es Prüf- und Zertifizierungsprozesse vor dem Einsatz, ein zentrales Register aller autorisierten Agenten und einen Mechanismus zur Entziehung der „Staatsbürgerschaft“ kompromittierter Agenten geben.
3. Grenzkontrollen
In jeder Republik gehören Grenzkontrollen zur ersten Verteidigungslinie. Die Angriffskette beginnt bereits beim Überschreiten der Grenze. Drei zentrale Angriffspfade bedrohen Organisationsgrenzen:
- KI-Agenten-Hijacking etwa durch gestohlene Zugangsdaten, kompromittierte API-Schlüssel, Session Hijacking oder Angriffe auf die Lieferkette des Agentenanbieters.
- Vergiften des Agenten durch manipulierte Daten durch kompromittierte Quellsysteme, aber auch durch Eingriffe in Trainingspipelines, RAG-Indizes, Leistungsbeurteilungen oder gefälschte Meeting-Transkripte.
- Erzeugen von Schatten-KI-Agenten etwa durch Rogue Admins, Wiederherstellung gelöschter Agenten aus Backups oder öffentliches Scraping.
Wenn Identität und Daten an der Grenze nicht validiert werden, können Erkundung und initialer Zugriff zu umfassenden Kompromittierungen von Admin-Konten oder Supply-Chain-Angriffen auf Integrationen wie Slack, E-Mail oder Kalender führen. Werden diese Phasen durch Grenzkontrollen gestoppt, treten spätere Aktionen gar nicht erst ein.
Daraus ergibt sich die Notwendigkeit einer Zero-Trust-Sicherheitsarchitektur für KI-Agenten. Entwickelt werden sollen Identitätsprüfung an der Grenze, Datenvalidierung, kontinuierliche Verifikation und Mikrosegmentierung.
4. Gewaltenteilung
Genau wie in der Buchhaltung müssen bei jedem Geldfluss oder jeder wichtigen Entscheidung die Anfrage und die Ausführung von unterschiedlichen Stellen vorgenommen werden. In der Republik der KI-Agenten sollte kein einzelner Agent die vollständige Entscheidungsgewalt über kritische Maßnahmen haben – insbesondere nicht über finanzielle. Gewaltenteilung muss strukturell eingebaut sein.
Ein besonders kritischer Risikobereich ist die Ausnutzung von Vertrauensbeziehungen. KI-Agenten können nicht nur Faktenwissen enthalten, sondern auch Wissen über informelle Beziehungen, Kommunikationsmuster und Vertrauensketten. Ein kompromittierter Agent könnte erkennen, wer ohne zusätzliche Prüfung reagiert, welche dringenden Anfragen sofort akzeptiert werden und welche informellen Genehmigungswege Kontrollen umgehen. Dieses Risiko ließe sich mit einer Quick-Start-Detection-Regel zur „Authority Escalation“ mindern, also Erkennung von Fällen, in denen ein Agent Genehmigungen oberhalb der normalen Autorität einer Person erteilt.
5. Multi-Agenten-Konsens
Dazu gehört eine Klassifizierung kritischer Aktionen, die Mehrfachfreigaben benötigen, und zwar durch mehrere unabhängige Agenten, idealerweise mit unterschiedlichen Modellen oder Datenpfaden. Außerdem soll es Architekturmuster geben, bei denen der anfragende und der ausführende Agent unterschiedliche Entitäten mit unterschiedlichen Vertrauensketten sein müssen. Eskalationsschwellen sollen definieren, ab welchen Beträgen, Datenklassifikationen oder Autoritätsstufen ein zweiter Agent oder ein Mensch zwingend erforderlich ist, ähnlich dem Vier-Augen-Prinzip in der Buchhaltung.
Ein weiterer Kernpunkt ist die Notwendigkeit unabhängiger Validierung. Ein gekaperter oder vergifteter Agent gibt Antworten und Empfehlungen aus, die auf den ersten Blick vertrauenswürdig wirken. Drei Angriffsformen können zu subtil falschen Ergebnissen führen: Hijacking, Poisoning von Trainings- oder Wissensdaten und Mindset Manipulation. In allen Fällen können Empfehlungen plausibel erscheinen, aber dennoch schädliche Verzerrungen oder Hintertüren enthalten.
6. Prüfpfade/Auditing
In einer Republik sind Transparenz und Rechenschaftspflicht unverzichtbar. Jede Regierungsmaßnahme wird protokolliert, jede Finanztransaktion lässt sich lückenlos nachverfolgen, und jede offizielle Mitteilung wird archiviert. Die Republik der KI-Agenten verlangt dasselbe.
Das Detection-Framework setzt umfassende Logs voraus. Ohne Protokolle funktionieren weder Verhaltens-Baselines noch Korrelationen, Post-Employment-Erkennung (ob ein Agent aktiv ist, während der zugehörige Mensch nachweislich abwesend oder an einem anderen Ort ist), Erkennung von Fakes oder Data-Exfiltration Monitoring.
Fazit
Die Empfehlungen der TrendAI™-Forschung sind klar:
- Logging und Monitoring müssen vom ersten Tag an implementiert werden.
- Überprüfen, welche Agenten existieren und wer Zugriff auf sie hat.
- Erstellen eines Incident-Response-Playbooks.
- KI-Agenten werden zunehmend nicht nur mit Menschen, sondern auch miteinander kommunizieren. Deshalb müssen Audit Trails nicht nur Mensch-Agent-Interaktionen erfassen, sondern auch Agent-zu-Agent-Kommunikationsketten. Ein solcher Audit Trail sollte mindestens Absender, Empfänger, Inhalt, Zeitstempel, Entscheidungsergebnis und die jeweils beanspruchte Autorität enthalten.
- Darüber hinaus müssen Logs vor Manipulation geschützt werden, denn Protokolle sind nur dann nützlich, wenn sie integer und fälschungssicher sind.
Den ganzen Bericht können Sie hier einsehen.