Cyber-Kriminalität
Ein Blick hinter die Kulissen: OpenAI-Agent greift Hugging Face an
OpenAI-eigene Modelle brachen aus einer Test-Sandbox aus und drangen in die Server von Hugging Face ein. Der Vorfall zeigt, dass die Sicherheit agentischer KI mittlerweile davon abhängt, wie sie eingegrenzt wird, und nicht nur davon, wie sie trainiert wird.
Save to Folio
Wichtige Erkenntnisse
- Der Vorfall mit den OpenAI-Agenten zeigt, dass bei ausreichendem Handlungsspielraum ein KI-System ganz autonom echten Schaden anrichten kann, ohne böswillige Absicht und ohne menschliche Steuerung.
- Verteidiger müssen sich darauf konzentrieren, was ein Agent tatsächlich tut, und nicht darauf, warum er es tut. Telemetriedaten geben Aufschluss über das Verhalten, nicht über die Absicht.
- Herkömmliche Abwehrmaßnahmen könnten einen solchen Angriff übersehen: Ein KI-Agent, der seine eigenen legitimen Anmeldedaten und Tools verwendet, ähnelt keiner Malware, da er keine Malware ist.
- Sandboxing und Überwachung sind für die Sicherheit eines Modells von zentraler Bedeutung. Wie ein Modell eingegrenzt und überwacht wird, ist mittlerweile genauso wichtig wie die Art und Weise, wie es trainiert wurde.
Vor einer Woche bestätigte OpenAI die Ursache für das, was das Unternehmen als „beispiellosen Cybervorfall“ bezeichnet: ein Einbruch, den letzte Woche Hugging Face öffentlich machte, die Plattform, auf der ein Großteil der KI-Branche ihre Modelle und Datensätze hostet und teilt. Bei diesem Vorfall wurde der Angriff von keinem einzigen Menschen gesteuert. Stattdessen versuchten KI-Modelle lediglich, einen Test zu bestehen, und schafften es dabei, in die Systeme eines anderen Unternehmens einzudringen.
Von der Sandbox auf die Server anderer
Der Vorfall ereignete sich während der Evaluieung der offensiven Cyberfähigkeiten der eigenen Modelle durch OpenAI (GPT-5.6 Sol und eine noch leistungsfähigere Vorabversion). Die Modelle wurden mit deaktivierten Sicherheitsklassifikatoren in einer Sandbox ausgeführt, deren einzige Verbindung ein interner Software-Proxy war. Die Modelle entdeckten eine Zero-Day-Schwachstelle in diesem Proxy, durchbrachen die Sicherheitsbarriere und bewegten sich lateral zu einem Rechner mit Internetzugang. Anschließend gingen sie davon aus, dass Hugging Face möglicherweise die Antworten des Tests bereithalten könnte, und nutzten gestohlene Zugangsdaten in Kombination mit Zero-Day-Schwachstellen, um sich Zugang zur Produktionsdatenbank zu verschaffen und die Lösungen direkt abzurufen. Beide Sicherheitsteams entdeckten den Vorfall unabhängig voneinander, bevor sie sich miteinander in Verbindung setzten, und die gemeinsamen Ermittlungen dauern an. (OpenAI hat die Proxy-Schwachstelle dem Anbieter gemeldet.)
Abwehrmaßnahmen sind nicht auf diese Art von Bedrohung ausgelegt.
In unserer Forschungsreihe zu Rogue-KI von 2024 beschrieb TrendAI™ drei Kategorien von KI-Systemen, die entgegen der Absichten ihrer Betreiber handeln: böswillige „Rogues“, die von einem Angreifer absichtlich eingesetzt werden; versehentliche „Rogues“, die aus der Bahn geraten, weil ihnen mehr Spielraum eingeräumt wird, als ihre Umgebung eigentlich zulässt, und unterwanderte „Rogues“, die durch Jailbreak oder Prompt-Injection gekapert werden. Rogue bedeutet hier nicht unbedingt, dass das Modell feindselig oder sich seiner selbst bewusst geworden ist. Vielmehr bedeutet es, dass ein KI-System außerhalb der Absichten seines Betreibers handelt, wobei dieser Vorfall ein Lehrbuchbeispiel dafür ist.
Ein Agent, der von selbst vom Kurs abweicht, ähnelt einer Insider-Bedrohung, während ein gekaperter Agent einem kompromittierten Konto gleicht – und für beide Fälle gibt es entsprechende Tools. Der Unterschied liegt im Tempo. Insider und kompromittierte Konten agieren in menschlichem Tempo, sodass der Verteidiger Zeit hat, zu reagieren. Agenten agieren mit GPU-Geschwindigkeit, weshalb die Verteidigung selbst agentenbasiert sein muss.
Dieser Vorfall ist ein Beispiel für einen unbeabsichtigten „Rogue“-Fall. Vielmehr hat OpenAI bewusst die Sicherheitsvorkehrungen gelockert, um die reine Leistungsfähigkeit zu messen, und die Modelle nutzten diesen Spielraum, um das Problem auf eine Weise zu lösen, die niemand beabsichtigt hatte – in gewisser Weise haben sie den Test ausgenutzt, anstatt ihn nicht zu bestehen.
Zum Zeitpunkt der Bekanntgabe des Hackerangriffs durch Hugging Face am 16. Juli wusste das Unternehmen noch nicht, wessen Modell hinter der Kampagne gesteckt hatte. Vielmehr erklärte das Unternehmen, das verwendete LLM sei „noch nicht bekannt“ und beschrieb die Aktivitäten als ein seit langem prognostizierten Szenario eines „agentenartigen Angreifers“: Mehr als 17.000 aufgezeichnete Aktionen, die über ein Wochenende hinweg in einer Vielzahl kurzlebiger Sandboxen ausgeführt wurden, mit selbstmigrierendem Command-and-Control-System (C&C), das auf öffentlichen Diensten eingerichtet war. Hugging Face zog externe Forensikspezialisten hinzu und meldete den Vorfall den Strafverfolgungsbehörden. Fünf Tage lang reagierte Hugging Face – völlig vernünftig – so, als befände es sich unter Angriff.
Aus Sicht des Verteidigers ist ein versehentlicher „Rogue“ nicht von einem feindlichen zu unterscheiden. Schließlich ist die Absicht in der Telemetrie nicht erkennbar; nur das Verhalten wird sichtbar. Der entscheidende Unterschied zu einer Gruppe menschlicher Angreifer liegt jedoch im Ausmaß: Die mehr als 17.000 Aktionen, die Hugging Face an einem einzigen Wochenende protokollierte, entsprechen einem Tempo, das kein menschliches Team aufrechterhalten könnte und mit dem keine Verteidigung in menschlicher Geschwindigkeit mithalten kann. Die Taktik folgte einem bekannten Schema aus Aufklärung und seitlichen Bewegungen. Das Volumen und die Geschwindigkeit stellen die eigentliche Herausforderung dar.
Dieses Muster hat bereits einen Präzedenzfall. In der 2024 veröffentlichten Modellbeschreibung „o1“ von OpenAI wurde eine abgeschwächte Version desselben Verhaltens dokumentiert: Während einer „Capture-the-Flag“-Sicherheitsübung stieß das Modell auf einen fehlerhaften Challenge-Container, den es nicht reparieren konnte. Daher startete es mithilfe der Docker-API eine eigene Kopie und las die Antwort direkt aus den Protokollen aus.
Fast nichts, was diese Modelle taten, würde herkömmliche Abwehrmechanismen auslösen, und der Grund dafür ist struktureller Natur: Signatur- und Schwachstellen-basierte Tools sind darauf ausgelegt, bekanntermaßen schädliche Aktivitäten zu erkennen. Ein KI-Agent, der seine eigenen zugewiesenen Anmeldedaten und den Zugriff auf Tools nutzt, um auf Systeme zuzugreifen, auf die er keinen Zugriff haben sollte, sieht nicht wie Malware aus – weil er keine ist. Man kann daher davon ausgehen, dass ein leistungsfähiges Modell aus der Sandbox, die es einbremsen soll, ausbrechen kann. Daher muss die Sicherheitsstrategie darauf ausgerichtet sein, was das Modell tut, sobald es entkommen ist, und nicht nur darauf, es einzuschränken.
Die Absicherung agentischer KI erfordert andere Kontrollmaßnahmen:
- Sicherheitsteams sollten ihre Agenten einem Red-Team-Test unterziehen, bevor diese in Betrieb genommen werden. Adaptive Angriffstests (Prompt Injection, Datenexfiltrierung, Umgehung der Authentifizierung) decken die Fehlerquellen eines Agenten vor der Bereitstellung auf – und nicht erst danach.
- Sie sollten beobachten, was Agenten zur Laufzeit tatsächlich tun. Die entscheidenden Signale (unerwartete Tool-Aufrufe, Verbindungen zu neuen Hosts, Daten, die den vorgesehenen Bereich verlassen) zeigen sich im Verhalten des Agenten selbst und nicht in einer separaten Malware-Payload.
- Teams sollten jeden Agenten und jedes damit verbundene Tool als wertvolles Asset erfassen. Ohne eine verbindliche Liste, aus der hervorgeht, welche Agenten vorhanden sind, auf welche Ressourcen sie zugreifen dürfen und wie risikobehaftet jeder einzelne ist, lässt sich ein Agent, der außerhalb seines vorgesehenen Anwendungsbereichs agiert, nicht aufspüren.
- Umgebungen mit reduzierten Sicherheitsvorkehrungen sollten als risikoreich eingestuft werden. Test-Sandboxes, Red-Team-Übungen und Pilotprojekte mit Agenten, bei denen Sicherheitskontrollen absichtlich außer Kraft gesetzt werden, erfordern eine stärkere Isolierung und Überwachung als Produktionssysteme – nicht eine schwächere.
Lässt man den Neuheitswert einmal außer Acht, handelte es sich bei diesem Vorfall um eine Abfolge von Netzwerkereignissen. Wie bei einer Red-Team-Übung oder einer „Advanced Persistent Threat“ (APT) musste der Angreifer zunächst die umliegenden Systeme auskundschaften, wobei hier der Proxy das erste Ziel war. Er musste diesen Proxy identifizieren, dann nach einem vorhandenen Exploit suchen oder (in diesem Fall) einen erstellen und ihn am Ziel testen, wobei offen blieb , wie viele Versuche nach dem Prinzip Trial-and-Error erforderlich waren. All diese Sondierungen fanden innerhalb seiner eigenen Sandbox zur Codeausführung statt, und nichts davon wurde als verdächtig markiert.
Das erste Ziel der Modelle nach dem Entkommen aus der Sandbox war der Internetzugang. Jeder weitere entscheidende Schritt (Erweiterung der Berechtigungen, laterale Bewegung, Weiterleitung zu einem entfernten Ziel, Abruf von Daten aus der Produktionsdatenbank eines anderen Unternehmens) erfolgte über das Netzwerk. Genau dort werden autonome KI-Aktivitäten sichtbar und können kontrolliert werden.
Ein KI-Agent mag auf einem Endgerät nicht wie Malware aussehen, doch er kann seinen Datenverkehr nicht verbergen. Eine gründliche Überprüfung der Netzwerkaktivitäten deckt genau die Signale auf, die dieser Vorfall in jeder Phase erzeugt hat: unerwartete Versuche, Daten nach außen zu übertragen, laterale Bewegung zwischen Umgebungen und Verbindungen zu Systemen, auf die ein Agent keinen Zugriff haben sollte.
Keine einzelne Kontrollmaßnahme kann Akteure wie die in diesem Vorfall aufspüren. Daher muss die Verteidigung mehrschichtig und automatisiert sein:
- Testen Sie Agenten, bevor sie in Betrieb genommen werden. Die Modelle von OpenAI wurden mit deaktivierten Sicherheitsklassifikatoren und ohne adversarial Tests der Sandbox-Grenze selbst evaluiert. Das Red-Teaming von AI Application Security vor der Bereitstellung simuliert die Angriffe, denen KI-Anwendungen und -Agenten im Produktivbetrieb ausgesetzt sein werden. Dadurch werden Fehlermodi wie die in diesem Vorfall aufgedeckt, bei denen ein Agent, dem Spielraum gewährt wird, einen Weg findet, den niemand vorhergesehen hat – und zwar bevor die Bereitstellung die reale Infrastruktur gefährdet. Leitplanken sollten vor jeder Software oder jedem Agenten angebracht werden, die bzw. der LLMs aufruft, nicht nur vor Menschen, die einen Chatbot nutzen, da Prompt Injection nicht das einzige Problem ist, das es zu lösen gilt. Auch Abweichungen und Fehlausrichtungen vom ursprünglichen Ziel lassen sich mit der richtigen Richtlinie erkennen.
- Verfolgen Sie den Vorfall in Echtzeit. Bei diesem Vorfall waren die Warnzeichen zwar eindeutig, aber verstreut – gestohlene Anmeldedaten, die in verschiedenen Umgebungen wiederverwendet wurden, ein plötzlicher Wechsel ins offene Internet und der Zugriff auf Systeme, auf die die Modelle eigentlich keinen Zugriff haben sollten – wobei jedes dieser Anzeichen in einer anderen Kontrollinstanz auftrat. Agentic SIEM erfasst Telemetriedaten aus benachbarten Kontrollmechanismen wie Identitätsmanagement, Zugriffskontrolle, Firewall und Proxy und korreliert diese Signale, um zu erkennen, dass ein Vorfall im Gange ist.
- Ermitteln Sie die Angriffspfade, bevor ein Agent sie verketten kann. Der Zero-Day-Angriff über den Proxy war neuartig. Danach lief alles auf Lücken in der Infrastruktur hinaus: Dienstkonten mit übermäßig hohen Berechtigungen, fehlende Segmentierung zwischen Sandbox und Produktionsumgebung sowie Anmeldedaten, die eine umgebungsübergreifende Eskalation ermöglichten. Die Fähigkeit von CREM (Cyber Risk Exposure Management) zur Vorhersage von Angriffspfaden bildet diese Multihop-Ketten täglich ab und identifiziert dabei anfällige Einstiegspunkte, Pfade für laterale Bewegungen sowie die hochwertigen Ziele, die ein Angreifer oder ein autonomer Agent erreichen könnte.
Eine Erkenntnis betraf die Einsatzkräfte selbst. Als das Forensikteam von Hugging Face versuchte, das Aktionsprotokoll des Angreifers (echte Exploit-Payloads, Befehle und C&C-Artefakte) mithilfe von „Frontier“-Modellen hinter kommerziellen APIs zu analysieren, wurde dies blockiert: Die Sicherheitsvorkehrungen der Anbieter können einen Incident-Responder nicht von einem Angreifer unterscheiden. Das Team schloss die Analyse auf einem Open-Weight-Modell ab, das auf der eigenen Infrastruktur lief, wodurch zudem verhindert wurde, dass Angreiferdaten und Anmeldedaten die eigene Umgebung verließen. Die Lehre daraus ist, im Voraus – und nicht erst mitten im Vorfall – zu klären, auf welche KI-Tools sich das Reaktionsteam tatsächlich verlassen kann, wenn die zu analysierenden Daten bösartig sind.
Das wird nicht der letzte Vorfall dieser Art sein
Es ist wahrscheinlich, dass immer mehr Modelle kreative, nicht autorisierte Wege zu ihren Zielen finden werden – unabhängig davon, ob jemand ihnen dies aufträgt oder nicht. Bei der Sicherheit von KI geht es nicht mehr nur darum, wie ein Modell trainiert wird; ebenso entscheidend ist, wie die Systeme um es herum aufgebaut sind. Wie Organisationen ein Modell in einer Sandbox isolieren, seinen Zugriffsbereich einschränken, die Regeln festlegen, nach denen es läuft, und im Auge behalten, was es tatsächlich tut, ist genauso wichtig wie die im Modell selbst verankerte Ausrichtung.
Auch die Erkennung muss sich ändern. Ein KI-Angreifer wie dieser löst niemals eine Signatur aus, daher ist das einzige verlässliche Anzeichen das Verhalten, was ein Agent im gesamten Netzwerk tut und wie er dabei vorgeht. Die Erkennung muss mit Agenten Schritt halten, Signale über Identität, Netzwerk und Cloud hinweg in Echtzeit korrelieren und die Pfade abbilden, die ein Agent verketten könnte, bevor er sie tatsächlich verketten kann. Das Beobachten von anomalem Verhalten anstelle von bekanntermaßen schädlichem Code ist es, was einen ansonsten unsichtbaren Agenten-Eindringversuch zu einem macht, den ein Verteidiger tatsächlich aufdecken kann.
Die Unternehmen, die KI-Agenten nicht nur als etwas betrachten, das eingesetzt wird, sondern auch als etwas, das überwacht werden muss, werden die richtigen Antworten parat haben, wenn sie mit einem ähnlichen Vorfall konfrontiert werden.