Künstliche Intelligenz (KI)
Sicherung jeder Ebene der KI-Agenten
Eine wohlmeinende Ausrichtung eines Modells kann die Anschlüsse, Tools und Daten, mit denen ein Agent zu tun hat, nicht schützen. Echte Agentensicherheit bedeutet, jede Ebene durch Vorschriften zu regeln, die der Agent selbst nicht außer Kraft setzen kann.
Save to Folio
Ein perfekt ausgerichteter Agent wird alles tun, wozu er die Erlaubnis hat. Das wirft die naheliegende Frage von Sicherheitsverantwortlichen auf: Was ist zu tun? Allzu oft beginnt und endet die Antwort immer noch allein beim Modell und dessen Alignment. Ich halte das für den falschen Ansatz.
Entwickler in den Frontier Labs tun gut daran, weiterhin in Ausrichtung (Alignment), strengere Ablehnungsmechanismen und Red-Teaming zu investieren. Alignment ist es, was einem Modell gute Absichten verleiht, und fehlt dieses, wird alles andere schwieriger. Doch ist Alignment nur ein Teil der Antwort auf die Frage, ob man Agenten in der Produktion vertrauen kann.
Ein wohlwollender Agent kann echten Schaden anrichten
Gibt man einem perfekt ausgerichteten Agenten einen manipulierten Kontext und Zugangsdaten mit mehr Zugriffsrechten, als er benötigt, wird er selbstbewusste, gut gemeinte, aber dennoch falsche Entscheidungen treffen. Und diese wird er dann umsetzen.
Der Hacking-Vorfall bei Hugging Face hatte gezeigt, wie entscheidend die Umgebung ist. Agenten brachen aus ihrer Testumgebung aus, nutzten Zugangsdaten, die sie in öffentlichen Diensten offen zugänglich vorfanden, sammelten dann weitere Zugangsdaten und bewegten sich lateral durch Systeme, wobei niemand erwartet hatte, dass sie diese erreichen würden. Kein noch so hohes Maß an Alignment hätte diese Zugangsdaten widerrufen können.
Der Agent ist nicht das Modell
Sprechen wir über KI-Agenten, stellen wir uns meist das Modell vor. Ein Produktionsagent besteht jedoch eigentlich aus drei Komponenten:
- Modell, das „Überlegungen“ anstellt,
- ein Harness koordiniert die Agenten, leitet Prompts weiter, ruft Tools auf und verwaltet den Speicher
- Tools und Daten, die ihm Zugriff auf reale Systeme ermöglichen: auf die Fähigkeiten, MCP-Server und Plugins, die er aufruft, sowie die Daten, die er liest, schreibt und von einer Sitzung zur nächsten überträgt.
Die Ausrichtung betrifft nur den ersten Aspekt. Die anderen beiden sind Software und Infrastruktur, und sie können versagen. Harnesses können umgeleitet werden. Tools sind Code von Drittanbietern, der mit den Berechtigungen des Agenten ausgeführt wird. Und für Datenspeicher ist oft kein Zugriffsmodell für Agenten definiert.
Agenten sind privilegierte Infrastruktur
Ein Chatbot, der eine Frage beantwortet, hat eine begrenzte Reichweite. Ein auf lange Laufzeiten ausgerichteter Agent hingegen nicht. Er verwahrt Anmeldedaten, merkt sich den Kontext über Sitzungen hinweg, erzeugt Unteragenten und arbeitet kontinuierlich an Produktionssystemen, ohne dass ein Mensch jeden Schritt genehmigt. Er weist alle Merkmale auf, die wir normalerweise unserer privilegiertesten Infrastruktur vorbehalten.
Das verändert das Risiko in zweierlei Hinsicht. Jede Prompt Injection wird zu einem möglichen Leak von Anmeldedaten. Und jede Skill eines Drittanbieters wird zu ungeprüftem Code, der innerhalb der Vertraulichkeitsgrenze ausgeführt wird.
Durch Ausrichtung kann das Modell dazu gebracht werden, Daten nicht exfiltrieren zu wollen. Sie kann dem Agenten jedoch nicht Fähigkeit dazu nehmen. Und sie kann dem Agenten auch nicht mitteilen, dass das Dokument, das er gerade gelesen hat, ihn belügt.
Sichern Sie jede Ebene
Ein Agent ist nur so sicher wie das Modell, das er aufruft, die Ausführungsumgebung, in der er läuft, sowie die Tools und Daten, auf die er zugreift. Angreifer werden die schwächste Ebene ins Visier nehmen.
TrendAI Vision One™ bietet KI-Sicherheit für das Modell, die Ausführungsumgebung, die Tools und die Daten hinter Ihren Agenten:
- Das Modell: Die Lösung überprüft Prompts und Antworten in Echtzeit, blockiert Versuche der Prompt Injection und des „Jailbreak“ und zensiert sensible Daten, bevor sie nach außen gelangen.
- Die Ausführungsumgebung: Sie regelt, auf welche Tools und MCP-Server ein Agent zugreifen darf, überprüft jeden von ihm getätigten Aufruf und testet KI-Anwendungen vor ihrer Auslieferung auf Schwachstellen.
- Die Tools und Daten: Skills und MCP-Server bilden eine schnell größer werdende Software-Lieferkette, die kaum kuratiert wird. Die Lösung analysiert, wie sich Skills und KI-Artefakte zur Laufzeit verhalten, identifiziert und klassifiziert die sensiblen Daten, mit denen die KI gefüttert wird, verhindert, dass Agenten auf Daten zugreifen, auf die sie keinen Zugriff haben sollten, und mehr.
- Über alle Ebenen hinweg: Die Detection and Response korreliert KI-Telemetriedaten mit Signalen von Endgeräten, Netzwerken und Identitäten, sodass sich ein gekaperter Agent nicht unbemerkt lateral bewegen kann.
Doch kann ein Agent seine eigene Konfiguration umschreiben, eine neue Skill laden oder seine eigenen Hooks deaktivieren, so haben seine Sicherheitskontrollen lediglich beratenden Charakter. Deshalb unterstützt unsere Lösung die NVIDIA Agent Safety Platform. Sie verlagert die Autorität in die Infrastruktur unterhalb des Agenten. Laut NVIDIA setzt OpenShell Richtlinien außerhalb der Ausführungsumgebung des Agenten durch, wo sie nicht durch Eingabeaufforderungen umgangen oder außer Kraft gesetzt werden können, während NVIDIA BlueField-4-DPUs und NVIDIA DOCA eine hostunabhängige Sicherheitsebene auf Chipebene hinzufügen. TrendAI™ ergänzt diese Durchsetzungsebene durch die Intelligenz, die festlegt, wie die Richtlinie aussehen sollte, durch die Transparenz, um zu erkennen, was Agenten tun, sowie durch die Erkennung von Bedrohungen und die Reaktion darauf.
Ein Agent ist immer noch eine Workload, sodass der Rest des Sicherheits-Stacks weiterhin gilt. Deshalb erweitern wir die Agentenschutzmaßnahmen von NVIDIA auf die gesamte KI-Fabrik und decken Agenten, Modelle, Container, Speicher und Netzwerke auf einer einzigen Plattform ab. Da wir Signale über alle Schichten hinweg korrelieren, erhalten Sicherheitsteams einen einheitlichen Überblick darüber, was ihre Agenten tun, wie riskant dies ist und wie sie reagieren sollten.
Die Grundlage für all das ist Transparenz. Man kann die Schatten-KI, unverwaltete Agenten und nicht genehmigte MCP-Server, von deren Existenz man nichts weiß, nicht steuern. Unsere Untersuchungen haben ergeben, dass 47 % der Unternehmen keinen vollständigen Überblick über ihre Cloud-Ressourcen in Multicloud-Umgebungen haben – genau die Infrastruktur, auf der diese Agenten mittlerweile laufen. Die Erkennung kommt vor jeder anderen Kontrollmaßnahme.
Wo Sicherheitsverantwortliche ansetzen sollten
Jedes Unternehmen benötigt Antworten in vier Bereichen:
- Transparenz: Erfassen Sie Ihre Agenten, einschließlich derer, die niemand genehmigt hat. Gehen Sie davon aus, dass sie existieren.
- Verantwortlichkeit: Behandeln Sie Agenten als privilegierte Identitäten mit einem namentlich benannten Verantwortlichen. Schränken Sie deren Zugriffsrechte genauso streng ein wie bei einem Dienstkonto mit Produktionszugriff.
- Lieferkette: Behandeln Sie Skills und MCP-Server als Code von Drittanbietern. Beobachten Sie, wie sich diese Tools tatsächlich verhalten, und regeln Sie, auf welche Agenten sie zugreifen dürfen.
- Governance: Verlagern Sie die Durchsetzung außerhalb der Agenten. Jede Kontrolle, die der Agent deaktivieren kann, ist keine Kontrolle.
Fazit
Niemand kann dies allein. NVIDIA schafft die Grenze, die festlegt, was ein Agent tun darf. TrendAI™ liefert die Bedrohungsinformationen, die Aufschluss darüber geben, wo diese Grenze liegen sollte, die Transparenz, um zu sehen, was innerhalb dieser Grenze geschieht, sowie die Sicherheitsmaßnahmen, um darauf zu reagieren. Das ist die Architektur, die wir gemeinsam mit NVIDIA und unseren Partnern im gesamten KI-Ökosystem aufbauen.
Um mehr über unsere Unterstützung für die NVIDIA Agent Safety Platform zu erfahren, lesen Sie auch unsere Pressemitteilung.