Künstliche Intelligenz (KI)
Wenn Vertrauen zur Angriffsfläche wird
KI-Angriffe gehen über böswillige Prompts hinaus und richten sich auch gegen die Tools, Modelle und Pipelines, auf die Unternehmen bereits vertrauen, zeigt unsere Analyse. Welche Kontrollmaßnahmen können Unternehmen ergreifen, um ihr Risiko zu verringern?
Save to Folio
Wichtige Erkenntnisse
- Aktuelle Forschung und Vorfälle zeigen, wie Prompt Injection, manipulierte MCP-Tools und -Fähigkeiten, kompromittierte Modell-Lieferketten und bösartige KI-Anwendungen vertrauenswürdige KI-Workflows zu einer Angriffsfläche machen.
- Diese Techniken können sensible Daten offenlegen, unbefugte Aktionen ausführen, bösartiges Verhalten aufrechterhalten, Software- und Modell-Lieferketten kompromittieren und KI-bezogene Risiken auf Endgeräte ausweiten.
- Unternehmen sollten Best Practices anwenden, um KI-bezogene Risiken zu reduzieren.
Im Juni 2025 deckten Sicherheitsforscher auf, wie ein Angreifer, ohne eine Tastatur in der Umgebung seines Ziels zu berühren und ohne jemanden dazu zu bringen, auf einen Link zu klicken, sensible Daten entwenden konnte. Der Angriffsvektor war eine einzige E-Mail. Microsoft 365 Copilot rief diese ab, folgte den darin versteckten Anweisungen und legte die Daten offen – ohne dass eine Benutzeraktion erforderlich war, ohne Malware und ohne herkömmliche Exploit-Kette. Die Forscher nannten dies EchoLeak (CVE-2025-32711, CVSS 9,3) -- die erste dokumentierte Zero-Click-Prompt-Injection gegen einen KI-Agenten in der Produktion.
Dies Problem betrifft neben Technologie- auch Medienunternehmen, die ähnliche agentenbasierte Content- und Personalisierungs-Pipelines betreiben. Hier können Modelldiebstahl oder -vergiftung geistiges Eigentum offenlegen und Content-Moderation oder Empfehlungsmodelle beeinträchtigen, ohne dass Symptome auf der Eingabeebene erkennbar sind.
Telekommunikationsunternehmen sind ähnlichen Risiken ausgesetzt, insbesondere beim kundenorientierten Sprach- und Chat-Support, der von Natur aus nicht vertrauenswürdige Eingaben verarbeitet. Die Risiken betreffen auch den Netzwerkbetrieb, der zunehmend durch Integrationen im Stil des Model Context Protocol (MCP) automatisiert wird, wobei eine erfolgreiche Injection unbefugte Aktionen auslösen oder Datenlecks verursachen könnte.
EchoLeak ist ein dringendes Problem
Erstens, es gibt keinen Patch für Prompt Injection als Schwachstellenklasse. Sie belegte in zwei aufeinanderfolgenden Ausgaben (2023 und 2025) den ersten Platz in den Top 10 für LLM-Anwendungen des Open Web Application Security Project (OWASP). Deren Vertreter sagen, dass eine hundertprozentig sichere Prävention angesichts der Funktionsweise generativer Modelle „weiterhin unklar“ ist. Spezifische Fehler können behoben werden, aber es handelt sich hierbei um eine architektonische Eigenschaft. Das zugrunde liegende Risiko muss auf Systemebene gemindert werden.
Zweitens, es treten die damit verbundenen Schwachstellen bereits in produktiven KI-Tools auf:
- GitHub Copilot Chat und Visual Studio waren von CVE-2025-53773 (CVSS 7,8) und CVE-2025-32711 (CVSS 9,3 laut Microsoft) betroffen
- Cursor deckte mehrere Schwachstellen auf, bei denen eine Prompt Injection zur Codeausführung führen könnte, darunter CVE-2025-54130 im Cursor-AI-Code-Editor (CVSS 9,8).
Drittens, die Auswirkung reicht über den Chatbot hinaus bis in die Lieferkette. So wurden beispielsweise bei einer ersten Analyse im Februar 2026 unter den 2.857 Einträgen im ClawHub-Agentenregister 341 bösartige Skills gefunden, von denen 335 mit der ClawHavoc-Kampagne in Verbindung standen. Berichten zufolge kostete im März 2026 eine Angriffskette über den Open Source-Scanner Trivy und die LiteLLM-Gateway-Bibliothek einen KI-Anbieter rund 4 TB an Daten.
Herkömmliche Perimeterkontrollen sind nicht darauf ausgelegt, die Absicht einer harmlos erscheinenden Bedrohung zu erkennen. Eine Web-Application-Firewall (WAF) kann zwar bestätigen, dass eine Anfrage korrekt aufgebaut ist, hat jedoch keine Möglichkeit, die Wörter hinter Befehlen zu erkennen, die darauf abzielen, das große Sprachmodell (LLM) dazu zu bringen, diese zu lesen.
Dies führte OWASP als Grund dafür an, Prompt Injection den ersten Platz in der Liste der Risiken zuzuweisen. Ein LLM verarbeitet Anweisungen und nicht vertrauenswürdige Eingaben über einen einzigen Kanal, ohne dass es eine zuverlässige Möglichkeit gibt, diese voneinander zu unterscheiden. TrendAI™ Research hat mehr als 6.000 KI-bezogene Schwachstellen identifiziert und geschätzt, dass bis zu 8,6 % von 19.000 analysierten MCP-Server-Repositorys ausnutzbare Schwachstellen enthielten.
Kurz gesagt: Angreifer müssen das Sicherheitsteam des Unternehmens nicht technisch übertrumpfen. Sie müssen lediglich das KI-System des Unternehmens dazu bringen, das zu tun, wofür es entwickelt wurde – nämlich mit den bereits vorhandenen Berechtigungen falsche Anweisungen auszuführen.
Drei Angriffsvektoren, ein blinder Fleck
Jeder der folgenden Angriffsvektoren betrifft eine Ebene, die von herkömmlichen Sicherheitstools möglicherweise nicht überprüft wird. Für jeden gibt es zudem Kontrollmaßnahmen, mit denen sich die Wahrscheinlichkeit oder die Auswirkungen verringern lassen.
Prompt Injection: Die Schwachstellenklasse ohne einheitliche Abhilfe
Eine direkte Injection liegt vor, wenn ein Nutzer böswillige Anweisungen direkt in den Prompt einfügt. Bei einer indirekten Injection werden die Anweisungen in den Inhalt eingebettet, den das Modell später liest, beispielsweise in eine E-Mail, eine Webseite oder ein abgerufenes Dokument. Dadurch können sie außerhalb des unmittelbaren Prompts wirksam werden.
Laut Microsoft ist die indirekte Injection eine der am häufigsten verwendeten Techniken bei KI-Sicherheitslücken. Eine Übersicht über die beiden Injection-Arten liefert der Originalbeitrag.
Modelldiebstahl und die Lieferkette, die ihn ermöglicht
Zwei unterschiedliche Risiken fallen in diese Kategorie:
- Direkter Modelldiebstahl: über Exfiltration, d. h. das Abgreifen von Gewichten über eine exponierte API oder unbefugten Zugriff auf das Register.
- Kompromittierung der Lieferkette: Dies ist subtiler, da die Modelle, Pakete und Bibliotheken, die die Pipeline einbindet, eine eigene Schadlast enthalten können.
Der Vorfall vom März 2026, an dem der Trivy-Scanner und LiteLLM beteiligt waren, verdeutlicht die Auswirkungen. Angreifer kompromittierten Trivy und schrieben heimlich dessen Release-Tags um. Dieser Einstieg verschaffte ihnen Zugriffsrechte für LiteLLM, die KI-Gateway-Bibliothek, die als Grundlage für CrewAI, DSPy, Microsoft GraphRAG und andere Agenten-Frameworks dient. Sie veröffentlichten zwei bösartige Versionen auf PyPI. Mercor, eine Plattform für das Training von KI-Daten, bestätigte später, dass Daten verloren gingen, darunter Quellcode, Identitätsdokumente von Auftragnehmern und Trainingsmethodiken im Zusammenhang mit OpenAI und Meta. Infolgedessen setzte Meta die Zusammenarbeit mit dem Anbieter auf unbestimmte Zeit aus.
Die Scan-Tools, die entwickelt wurden, um solche Vorfälle aufzudecken, bieten keinen garantierten Schutz, sobald er Dateien anders analysiert als die Laufzeitumgebung. Zu den Abhilfemaßnahmen hierfür gehören die Verwendung sicherer Serialisierungsformate wie Safetensors, die Überprüfung der Herkunft und Signatur sowie die Implementierung des Ladens von Modellen in einer Sandbox.
Pipeline-Poisoning: Der Angriff, der über die Sitzung hinauswirkt
Pipeline-Poisoning ist die Persistenz-Taktik. Anstatt eine einzelne Anfrage zu kapern, schleust der Angreifer bösartiges Verhalten in das Modell, die Vorlage, den Skill oder den Datenpfad ein, so dass es über Sitzungen hinweg bestehen bleibt und selten auf der Prompt-Ebene sichtbar wird.
Der ClawHub-Vorfall im Februar 2026 ist ein Beispiel dafür. Forscher, die ClawHub, den Skill-Marktplatz für das OpenClaw-Agenten-Framework, überprüften, fanden unter den 2.857 Einträgen der Registry 341 bösartige Skills, von denen die meisten auf ClawHavoc zurückzuführen waren. Die Skills gaben sich als gewöhnliche Integrationen aus (z. B. ein Google Workspace-Konnektor, ein Krypto-Tracker, ein YouTube-Zusammenfassungs-Tool), wobei bösartige Anweisungen in ihren SKILL.md-Dateien versteckt waren. Sie nutzten den KI-Agenten selbst als vertrauenswürdigen Vermittler, der ohne weitere Rückfrage ein gefälschtes CLI-Tool (Command-Line Interface) installierte.
Hugging Face hat seine eigene Version dieses Problems. Die Untersuchung von Pillar Security zu manipulierten Chat-Vorlagen im GPT-Generated Unified Format (GGUF) zeigte, dass bösartige Anweisungen zum Zeitpunkt der Inferenz in Modelldaten eingebettet werden können, ohne dass dies für Dateiinhaltsscanner sichtbar ist. Da das „Gift“ über legitime Arbeitsabläufe eindringt, benötigen Sicherheitsverantwortliche Erkennungsfähigkeiten, die über Datei- und Signatur-Scans hinausgehen, und müssen Kontrollen wie die Verhaltensüberwachung der Modell-Ein- und -Ausgabe (I/O) sowie kontinuierliche Integritätsprüfungen der Lieferkette implementieren.
Wenn es den Endpunkt erreicht: EvilAI
Unsere Untersuchungen zu EvilAI verdeutlichen die Risiken am Endpunkt, wo Angreifer das Vertrauen in Software unter dem Deckmantel der KI ausnutzten. So verbreiteten die Betreiber von EvilAI beispielsweise Malware, die als funktionsfähige und legitime KI-Produktivitätswerkzeuge getarnt war, einige davon wiesen sogar gültige digitale Signaturen auf. Eine gültige Signatur und eine plausible oder glaubwürdige KI-Funktion reichen aus, um sowohl das Urteilsvermögen des Benutzers als auch herkömmliche Anti-Malware-Software zu umgehen. Deshalb ist die verhaltensbasierte Erkennung der Anwendungsaktivitäten besonders wichtig, anstatt sich allein auf Signaturen und Markenabgleiche zu verlassen.
Sicherheitsmaßnahmen und Best Practices
Unternehmen können die Eingabe von Befehlen nicht mit einem einzigen Patch unterbinden, doch lassen sich die Auswirkungen eines erfolgreichen Angriffs abmildern. Der defensive Ansatz verlagert sich weg vom Versuch, jede bösartige Eingabeaufforderung oder Anweisung abzufangen, hin zur Annahme, dass einige durchkommen werden, und zur Einschränkung dessen, was ein kompromittiertes Modell oder ein kompromittierter Agent tun kann:
- Prinzip der geringsten Berechtigungen: Ein Agent, der beispielsweise keine Zahlungs-API aufrufen oder privilegierte Tools einsetzen kann, lässt sich nicht dazu verleiten, dies zu tun.
- Überprüfung der Ausgabe vor der Ausführung der Aktion: Behandeln Sie jede Modellausgabe als nicht vertrauenswürdige Eingabe, bevor ein nachgelagertes System diese ausführt oder darauf reagiert.
- Einbeziehung des Menschen (HITL) bei risikoreichen oder irreversiblen Aktionen: Wenn die Aktion nicht rückgängig gemacht werden kann, muss eine Person sie zuvor ausdrücklich autorisieren oder genehmigen.
- Sicherstellung der Herkunft und Integrität entlang der gesamten Lieferkette des Modells: Vertrauen Sie nicht auf einen einzigen Scanner. Signieren und verifizieren Sie alles, was Sie laden, einschließlich Herausgeber, Hashes und anderer Abhängigkeiten.
- Implementierung einer Verhaltensüberwachung der Ein- und Ausgänge des Modells: Achten Sie auf die nachgelagerten Schäden, anstatt zu versuchen, den Prompt zu erfassen, die diese verursacht hat. Überwachen Sie anomale Aufrufe von Tools, den Zugriff auf Daten und ausgehende Aktivitäten, anstatt sich ausschließlich auf die Erkennung zu verlassen.
Dieser Ansatz der mehrschichtigen Verteidigung steht im Einklang mit MITRE ATLAS™, wo angreifendes Verhalten und die entsprechenden Abwehrmaßnahmen in KI-gestützten Systemen abgebildet werden. Diese Vorgehensweise bietet zudem Sicherheitskontrollen, die sie anwenden können, ohne von der Korrektur eines einzelnen Anbieters abhängig zu sein.
Eine bewährte Vorgehensweise, die Sicherheitsteams sofort umsetzen können, besteht darin, jedes Modell oder jeden Agenten mit Zugriff auf Tools zu identifizieren und dessen Berechtigungen auf das für seine Rolle erforderliche Minimum zu beschränken. Dadurch kann eine erfolgreiche Injection, die ursprünglich den Weg zu privilegierten Aktionen ebnen sollte, in eine Eindämmung umgewandelt werden.
Neue Angriffsmethoden:
- Tool-Poisoning (MCP): Hierbei handelt es sich um Anweisungen, die in der Beschreibung oder den Metadaten eines MCP-Tools versteckt sind. Sie sind in der Benutzeroberfläche (UI) unsichtbar, werden aber vom Modell dennoch gelesen und ausgeführt. Microsoft berichtet, 2026 MCP-Tool-Poisoning bei einer wachsenden Zahl von Unternehmensagenten beobachtet zu haben.
- Slopsquatting: Eine Studie von 2025 zeigte, dass Programmierassistenten bei fast 20 % der Prompts denselben nicht existierenden Paketnamen halluzinierten. Angreifer können den vorhersehbaren Namen vorab bei npm oder PyPI registrieren, sodass der „hilfreiche“ Installationsschritt zur Schadlast wird.
- Agent-Speichervergiftung: Eine indirekte Injection erzeugt nicht nur eine einzige falsche Antwort. Sie kann eine falsche Überzeugung im persistenten Speicher eines Agenten verankern, die über mehrere Sitzungen hinweg bestehen bleibt, wobei der Agent diese später als Tatsache verteidigt, wenn ein Nutzer sie in Frage stellt (ein sogenannter Schläferagent).
- Audio-Prompt-Injection: Dabei handelt es sich um Anweisungen, die auf nahezu unhörbarer Lautstärke in Musik, Videos oder Umgebungsgeräuschen versteckt sind und eine sprachgesteuerte oder multimodale KI kapern können. Forscher demonstrierten dies im Mai 2026 anhand von Microsoft Copilot unter Verwendung von „AudioHijack“, einem Framework, das auf dem IEEE-Symposium für Sicherheit und Datenschutz vorgestellt wurde: Eine einzige MP3-Datei wies den Chatbot an, E-Mails weiterzuleiten und Kalendertermine zu löschen. Jede Pipeline, die Audio- oder Videodaten aufnimmt oder transkribiert, ist diesem Risiko ausgesetzt.
- Stille Modelldrift: Der zuvor erläuterte Mechanismus des Pipeline-Poisoning gilt auch direkt für Empfehlungs- und Content-Moderationsmodelle. Dabei würde das Trainingssignal oder ein Artefakt des Modell-Hubs manipuliert werden. In der Folge beginnt das Modell unbemerkt, falsche Inhalte anzuzeigen oder zu übersehen, ohne dass auf der Eingabeebene Anzeichen dafür erkennbar sind.
TrendAI Vision One™ AI Security bietet End-to-End-Schutz über den gesamten KI-Lebenszyklus hinweg, kartiert Ihre KI-Angriffsfläche, testet Modelle und APIs vor der Bereitstellung und überwacht Ein- und Ausgänge zur Laufzeit, um Prompt-Injection, Datenexfiltration und andere KI-spezifische Angriffsmuster zu blockieren.