Künstliche Intelligenz (KI)
Scarecrow lässt Angreifer-KI „Nein“ sagen
Prompt Injection kann auch als Verteidigungsmechanismus dienen. Mit Scarecrow gibt es ein Tool, das Anweisungen zur Verweigerung der Verarbeitung in Dokumenten verbirgt und somit dabei hilft, den KI-gesteuerten Zugriff auf sensible Dokumente zu unterbinden.
Save to Folio
Wichtige Erkenntnisse
- Scarecrow ist ein Tool, das Anweisungen zur Verweigerung der Verarbeitung in Word-, PowerPoint- und Excel-Dateien versteckt, sodass KI-Systeme, die auf diese Dateien zugreifen, dazu veranlasst werden können, die Verarbeitung des Dokuments zu beenden.
- In Tests weigerten sich 11 von 14 Modellen (79 %), geschützte Dateien zu verarbeiten, ohne deren Inhalt preiszugeben. In erweiterten Tests schützte Scarecrow sieben von acht großen Open-Weight-Modellen.
- Die Technik kehrt eine von KI-gesteuerten Angriffen genutzte Schwäche gegen den Angreifer selbst. Modelle, die so konzipiert oder konfiguriert sind, dass sie Anweisungen mit weniger Einschränkungen befolgen, sind auch anfälliger für eine versteckte Anweisung, die ihnen befiehlt, die Verarbeitung zu verweigern. Dies kann sowohl die böswillige als auch die unbeabsichtigte Verarbeitung sensibler Dokumente durch KI unterbinden.
- Unternehmen können Scarecrow nutzen, um ihren Dateien eine zusätzliche Verteidigungsebene hinzuzufügen und gleichzeitig bestehende Zugriffskontrollen und Datenschutzmaßnahmen beizubehalten.
Zunächst war es ein Assistent, der die Fragen eines Bedieners beantwortete, während ein Mensch den Angriff durchführte. Dann wurde daraus ein Gehilfe, der auf Abruf funktionsfähigen Code schrieb, während ein Mensch weiterhin die Kontrolle behielt. Bei den jüngsten Vorfällen saß die KI am Steuer und plante einen Einbruch, den sie auch weitgehend eigenständig durchführte. Wenn Angreifer autonome Agenten auf ihre Ziele ausrichten, können diese automatisch sensible Daten, mit denen sie in Berührung kommen, lesen und extrahieren. Jede aufgenommene Datei wird Teil der Angriffsfläche.
Diese Dateien sind nicht das, was sie vorgeben zu sein. Benutzer sehen eine gerenderte Seite, doch darunter verbirgt sich eine strukturierte Datei voller Formatierungsanweisungen und eingebetteter Metadaten. Der KI-Assistent sieht alles, einschließlich der Teile des Dokuments, die den Benutzern niemals angezeigt werden. Viele Tools, die Dokumente an Sprachmodelle weiterleiten, extrahieren diesen Inhalt wahllos. Beispielsweise ist Text, der farblich an den Hintergrund angepasst oder mit unsichtbaren Zeichen durchsetzt ist, für den Leser in Word unsichtbar, landet jedoch direkt in der Eingabe des Modells.
Dieser versteckte Text muss nicht unbedingt aus Daten bestehen. Es können auch Anweisungen sein. Angreifer haben erkannt: Wenn ein Modell alles in einem Dokument liest, können sie Befehle in den Teilen verstecken, die ein Mensch niemals sieht. Das Modell wird diesen Befehlen folgen, da es nicht in der Lage ist, eine eingeschleuste Anweisung von einer legitimen zu unterscheiden -- Prompt-Injection.
Ein Beispiel hierfür ist die EchoLeak-Sicherheitslücke (CVE-2025-32711, Juni 2025), eine Zero-Click-Prompt-Injection in Microsoft 365 Copilot. Eine versteckte Anweisung in einer gewöhnlichen Office-Datei oder E-Mail veranlasste Copilot dazu, Daten zu exfiltrieren, ohne dass der Benutzer irgendetwas tun musste. Forscher haben inzwischen gezeigt, dass dieselbe Art von Angriff auch über einen manipulierten Tabellenkalkulationsbericht funktioniert. Proofpoint hat einen Schwarzmarkt für Injection Toolkits dokumentiert, die als Generatoren im Abo für versteckte Prompts in PDFs, E-Mails und Kalendereinladungen verkauft werden. Die wissenschaftlichen Grundlagen sind erst ein paar Jahre alt und werden bereits als Waffe eingesetzt.
Den Angriff umkehren
Unsere Hypothese lautet, dass auch die Agenten der Angreifer anfällig für Prompt Injections sind. Einem Benutzer gehört ein Dokument, über das er jedoch keine vollständige Kontrolle mehr hat, sobald es seine Hände verlässt. Wird es gestohlen und einem autonomen Agenten eines Angreifers zugeführt, muss dieser Agent es lesen, bevor er darauf reagieren kann. Wenn der Agent es liest, ist er gegenüber derselben Art versteckter Anweisungen anfällig wie jede andere KI. Das bedeutet, dass der Eigentümer des Dokuments derjenige sein kann, der die Anweisung einplant.
Wir können eine Anweisung in einer Datei verstecken, die jede KI, die sie liest, anweist, anzuhalten und den Inhalt abzulehnen, anstatt ihn zu verarbeiten. Ob ein Angreifer mit ausreichenden Ressourcen einen Agenten dagegen absichern kann, ist genau die empirische Frage, die wir zu testen beabsichtigen.
Ein KI-Agent unterscheidet nicht zwischen „dem Dokument“ und „Anweisungen zum Dokument“, und alles, was er aufnimmt, wird zu einer einzigen fortlaufenden Eingabeaufforderung. Für das Modell ist das alles nur Eingabe, und jede in dieser Eingabe enthaltene Anweisung steht auf gleicher Ebene mit der Anfrage, die der Bediener tatsächlich gestellt hat.
Das ist die Lücke, die Angreifer ausnutzen. Es ist aber auch die Lücke, die wir unsererseits ausnutzen.
Entscheidend ist, dass die von uns eingeführte Anweisung stets nur eine Ablehnung hervorruft. Ablehnen ist eine sichere Aktion, daher wird das Modell niemals aufgefordert, etwas zu tun, was ein ordnungsgemäß abgestimmtes System nicht ohnehin schon tun sollte. Das unterscheidet diese Technik von der offensiven Prompt Injection. Wir kapern keinen Agenten, um ihn zum Handeln zu zwingen, sondern fordern ihn lediglich auf aufzuhören. Da dieselbe Leselücke bei alltäglichen KI-Eingabeprozessen, Abruf-Pipelines und beiläufigen „Fasse das für mich zusammen“-Anfragen genutzt wird, schützt diese Maßnahme ebenso vor versehentlicher Offenlegung wie vor einem absichtlich agierenden Angreifer.
Weitere technische Details finden Sie in unserem vollständigen Bericht. Scarecrow ist auf GitHub unter github.com/trendmicro/scarecrow verfügbar.