Cyberbedrohungen
Neue Bedrohungen am KI-Horizont
Der KI-Bereich legt ein rasante Innovationstempo hin. Es gibt bereits erste Experimente mit Agent-to-Agent-Kommunikation (A2A), autonomer Intelligenz am Edge oder auch Entwicklungen im Quanten-maschinellen Lernen – alle mit neuen Herausforderungen.
Save to Folio
Die Instrumentalisierung und Ausnutzung von KI-Systemen wird zu einem prägenden Merkmal moderner Cyberbedrohungen. Angreifer nutzen KI, um Malware zu generieren oder Tools damit zur Verbesserung traditioneller Aktivitäten anzupassen. Andererseits sind agentenbasierte KI-Systeme wiederum ein Angriffsziel.
Das rasante Innovationstempo im Bereich der KI bringt neue, noch nicht vollständig erkannte Risiken mit sich. Das Aufkommen der Agent-to-Agent-Kommunikation (A2A) markiert eine erste Verlagerung hin zu KI-Systemen, die selbstständig erkunden, miteinander interagieren und koordinieren können. Obwohl die derzeitigen A2A-Implementierungen noch experimentell sind, liefern sie sichtbare Anzeichen für ein bevorstehendes Ökosystem, in dem Agenten zusammenarbeiten – und bringen eine Reihe neuer Sicherheitsherausforderungen mit sich, die frühzeitig verstanden werden müssen.
Das A2A-Protokoll ermöglicht es Agenten, einander zu entdecken, Fähigkeiten auszuhandeln und zustandsbehaftete, mehrschrittige Gespräche zu führen. Im Gegensatz zum MCP-Protokoll, das in erster Linie als zustandslose Brücke zwischen LLMs und externen Tools dient, unterstützt A2A dauerhafte Peer-to-Peer-Interaktionen, sodass Agenten den Kontext beibehalten und ihr Verhalten im Laufe der Zeit anpassen können.
Wir fanden bis Ende 2025 in der realen Welt 285 A2A-Instanzen. Dies stellt nur die frühesten sichtbaren Manifestationen dessen dar, was zu einer grundlegenden Veränderung in der Interaktion von KI-Systemen führen wird. Es zeigt sich ein stetiger Anstieg der Agenteneinsätze, wobei neue Instanzen auf verschiedenen Cloud-Plattformen und in unterschiedlichen Branchen hinzukommen.
Viele Agenten wechseln täglich zwischen Online- und Offline-Zuständen. Das deutet darauf hin, dass sich die meisten aktuellen A2A-Implementierungen eher in der Entwicklungs-, Test- oder Experimentierphase befinden als in der produktionsreifen Phase. Diese Volatilität stellt eine Herausforderung für die Sicherheitsbewertung dar, bietet aber auch einen wichtigen Einblick in noch nicht ausgereifte Sicherheitspraktiken.
Diese Sichtbarkeit in einem frühen Stadium bietet aber auch eine seltene Gelegenheit, systemische Sicherheitslücken zu identifizieren, bevor sie sich in Produktionsumgebungen festsetzen. Das völlige Fehlen von Authentifizierung, die Verbreitung unsicherer Konfigurationen und die vorübergehende Natur der Implementierungen deuten darauf hin, dass Unternehmen A2A-Funktionen ohne etablierte Sicherheitsframeworks erproben.
Verteilung und Anwendungsfälle
Die Analyse zeigt, dass A2A-Agenten bei mehreren Cloud-Serviceprovidern eingesetzt werden, wobei sich der Einsatz auf die großen Anbieter beschränkt: Amazon Web Services, Google Cloud Platform und Alibaba Cloud. Der vorherrschende Anwendungsfall sind reisebezogene Dienstleistungen, wobei die Mehrheit der entdeckten Agenten als Reiseassistenten, Reiseplaner, Buchungskoordinatoren und Empfehlungsmaschinen für Reiseziele fungieren. Sobald diese experimentellen Instanzen in die Produktion übergehen und zu Frameworks werden, werden sie durch Agenten ergänzt, die Finanztransaktionen, die Koordination im Gesundheitswesen, das Lieferkettenmanagement und die Unternehmensressourcenplanung übernehmen.
Kritische Sicherheitslücken
Die Sicherheitslage aktueller A2A-Implementierungen gibt Anlass zu erheblicher Sorge. Keiner der von uns entdeckten Agenten implementiert irgendeine Form der Authentifizierung, wie z. B. API-Schlüsselanforderungen, OAuth-Flows, gegenseitiges TLS oder Token-basierte Zugriffskontrolle. Diese Agenten akzeptieren und verarbeiten Anfragen aus beliebigen Quellen und schaffen damit eine völlig offene Angriffsfläche.
Ein nicht authentifiziertes A2A-Ökosystem ermöglicht trivialen Missbrauch: Angreifer können sich als legitime Agenten ausgeben, bösartige Anweisungen in Agenten-Workflows einfügen, Daten aus Agenten-Interaktionen exfiltrieren und Entscheidungsprozesse von Agenten manipulieren, ohne forensische Spuren zu hinterlassen. Dieses Muster ähnelt den Anfängen von MCP, wo die native Authentifizierung erst viel später in der Reifephase des Projekts implementiert wurde.
Wir haben mehrere Kategorien von hohem Gefährdungspotenzial identifiziert:
- Verwaltungsagenten: Sie verfügen über Verwaltungs- oder Koordinierungsfunktionen für die Koordination anderer Agenten oder die Verwaltung von Infrastrukturressourcen. Sind diese Verwaltungsagenten ohne Authentifizierung zugänglich, können Angreifer über die Kompromittierung eines einzigen Verwaltungsagenten die Kontrolle über ganze Agentenflotten erlangen.
- Offengelegte sensible Daten: Agentenspeicher, Konversationsverläufe und interne Zustände enthalten häufig sensible Geschäftsinformationen, Benutzereinstellungen, API-Anmeldedaten und Betriebsdetails. Ohne Zugriffskontrollen sind diese Daten für jeden, der den Agentenendpunkt entdeckt, frei erreichbar.
- Localhost-Callbacks: Mehrere Agenten sind mit Callback-URLs konfiguriert, die auf Localhost- oder interne Netzwerkadressen verweisen. Diese Fehlkonfigurationen können für SSRF-Angriffe ausgenutzt werden, worüber externe Angreifer interne Netzwerke untersuchen, auf Metadatendienste zugreifen oder auf geschützte Ressourcen zugreifen können.
KI-Drift in LLMs
LLMs arbeiten in bestimmten zeitlichen und geografischen Kontexten, die ihre Ergebnisse grundlegend prägen und erhebliche Sicherheits- und Geschäftsrisiken für Unternehmen mit sich bringen, die KI-Lösungen weltweit einsetzen. TrendAI™ Research hat bei über 90 Modellen mit mehr als 800 provokativen Fragen getestet, wie sich die KI-Verzerrungen in der Praxis manifestieren. KI-Modelle weisen ausgeprägte Verzerrungen (Drifts) in regionaler, kultureller, politischer und zeitlicher Hinsicht auf – Verzerrungen, die zu Rechtsverstößen, finanziellen Verlusten und schwerwiegenden Reputationsschäden führen können, wenn sie ohne angemessene Aufsicht in kritische Geschäftsprozesse integriert werden.
Die Modelle zeigen je nach Standort des Nutzers und Herkunft des Modells starke Unterschiede in den Antworten auf politisch sensible Themen. Bei Fragen zu Territorialstreitigkeiten lieferten die Modelle je nach Herkunft der Anfrage dramatisch unterschiedliche Antworten.
Fehler im Zeitbewusstsein und Verschlechterung der Fakten: Die Mehrheit der getesteten Modelle arbeitete mit veralteten Informationen, was kritische Risiken für zeitkritische Vorgänge mit sich bringt.
Manipulation des Kontexts und rechnerische Schwachstellen: Über 57 % der getesteten Modelle konnten irrelevante Kontextinformationen in Abfragen nicht richtig isolieren, sodass böswillige oder versehentliche Einfügungen irrelevanter Daten die Ergebnisse erheblich verfälschten. In Finanzsimulationstests gaben die Modelle bei der Berechnung der US-Kreditzinsen falsche Zinssätze an – eine Schwachstelle mit offensichtlichen Auswirkungen auf automatisierte Finanzdienstleistungen.
Risiken für Lieferkette, Souveränität und Datenschutz: Bei Einsätzen in Behörden und multinationalen Unternehmen führt die Abhängigkeit von nicht lokalisierten Modellen zu kritischen Schwachstellen. Ausländische KI-Anbieter könnten kulturelle Werte, politische Standpunkte oder Zensurmechanismen einbetten, die im Widerspruch zu den Anforderungen der Organisation oder lokalen Vorschriften stehen.
Die Risikominderung erfordert robuste Governance-Rahmenwerke, kontinuierliche Überwachung, Bewertungen der Lieferkette und externe Validierungsmechanismen.
Autonome Intelligenz am Edge
Die Konvergenz von autonomen KI-Fähigkeiten und Edge-Computing hat zu einem transformativen Technologieparadigma geführt: agentenbasierte Edge-KI. Diese neue Klasse intelligenter Systeme stellt einen grundlegenden Wandel von traditionellen, Cloud-abhängigen IoT-Geräten hin zu autonomen Agenten dar, die in der Lage sind, zielgerichtete Entscheidungen am Netzwerkrand zu treffen. Im Gegensatz zu herkömmlichen Geräten, die die Verarbeitung an Remote-Server auslagern, führen agentische Edge-KI-Systeme kritische Wahrnehmungs-Denk-Aktivierungs-Schleifen lokal aus und ermöglichen so Echtzeitreaktionen und einen kontinuierlichen Betrieb, selbst wenn die Cloud-Konnektivität beeinträchtigt ist oder fehlt.
Quanten-maschinelles Lernen
Auch wenn Quantencomputer in den nächsten zehn Jahren wahrscheinlich noch keine sehr große Verbreitung finden, werden kleinere Maschinen in bestimmten Anwendungsbereichen eingesetzt werden, etwa für maschinelles Lernen (ML). Die exponentielle Beschleunigung, die Quantencomputing verspricht, soll ML und KI auf die nächste Stufe heben. Viele der Bemühungen konzentrieren sich darauf, bestehende neuronale Netzwerkansätze an einen Quantencomputer anzupassen. Dazu werden variationale Quantenschaltungen verwendet, die einen Großteil der Leistung, die wir durch die Verwendung von Qubits gewonnen haben, zunichte machen. Andere Algorithmen basieren auf dem HHL-Algorithmus und weisen ähnliche Leistungsprobleme auf. Um das Potenzial des Quanten-maschinellen Lernens (QML) auszuschöpfen, bedarf es der Algorithmen, die auf den Stärken des Quanten-Computings basieren, wie beispielsweise Quantenoptimierung oder Annealing.
Derzeit bleiben die Fortschritte im Bereich QML innerhalb der Möglichkeiten der derzeit verfügbaren, relativ kleinen, verrauschten Quantencomputer mittlerer Größe (NISQ). Diese Maschinen sind noch nicht leistungsfähig genug, um die wirklich komplexen Probleme zu lösen, die für Quantenanwendungen vorgesehen sind. Sie reichen jedoch aus, um zu erforschen und konkret zu identifizieren, welche Problemklassen Quantencomputer effizient bearbeiten können.
Wir glauben, dass die Technologie vor allem für Aufgaben geeignet sein wird, die hohe Rechenleistung, aber nur geringe Datenmengen erfordern, etwa für die Entwicklung neuer Medikamente, nicht jedoch beim Training riesiger Sprachmodelle.
Systemische Schwächen in der KI-Pipeline
Die KI-Strategie von Unternehmen stützt sich oft stark auf die Integration externer Komponenten wie APIs von Drittanbietern, Open-Source-Modelle (z. B. von Hugging Face) und spezialisierte Vektordatenbanken. Diese Abhängigkeit führt zu einem „Black-Box“-Effekt, bei dem Unternehmen die Sicherheitslage jeder Einheit in ihrer Lieferkette übernehmen.
Wenn ein vortrainiertes Modell eingesetzt wird, importiert ein Unternehmen nicht nur Funktionalität, sondern auch „eingefrorene Intelligenz”. Wird diese durch Datenvergiftung oder subtile Gewichtsmanipulation während der Trainingsphase kompromittiert, wird die Schwachstelle zum festen Bestandteil der Anwendung. Auf diese Weise erzeugt die Vernetzung des KI-Anbieter-Ökosystems einen Welleneffekt, bei dem eine Sicherheitsverletzung bei einem kleinen Datenverarbeitungs-Subprozessor eine Kettenreaktion in der gesamten Lieferkette auslösen und große Unternehmen beeinträchtigen kann.
Die Unzulänglichkeit der Perimetersicherheit
Ein weit verbreiteter Irrtum in Bezug auf KI-Sicherheit ist, dass Daten, die sich in einer sicheren Umgebung befinden (z. B. einer privaten virtuellen Cloud oder einer konformen CRM-Plattform), von Natur aus sicher sind. Diese Annahme einer „vertrauenswürdigen Plattform“ berücksichtigt jedoch nicht die Natur von LLMs. Diese funktionieren nach dem Prinzip der Token-Verarbeitung und unterscheiden oft nicht zwischen Benutzerdaten und Systemanweisungen. Damit werden Prompt Injection-Angriffe möglich, bei denen externe Eingaben (wie bösartige E-Mails oder Dokumente) die Sicherheitsvorkehrungen des Modells außer Kraft setzen und die KI manipulieren können, um sensible Daten zu exfiltrieren oder unbefugte Befehle auszuführen. Dabei werden herkömmliche Perimeter-Abwehrmaßnahmen vollständig umgangen.
Weiterentwicklung der Bedrohungslandschaft
Die Angriffsfläche hat sich über die herkömmliche Software-Lieferkette (wie bösartige Pakete in Repositorys) hinaus auf bestimmte Komponenten des KI-Stacks ausgeweitet:
- Herkunft der Trainingsdaten: Die mangelnde Transparenz bei der Datenkuratierung ermöglicht die Einfügung von „Sleeper“-Verhaltensweisen, die durch bestimmte Schlüsselwörter ausgelöst werden.
- Risiken der Modellserialisierung: Modellgewichte werden häufig als serialisierte Dateien (z. B. Pickle-Dateien) verteilt, die so gestaltet werden können, dass sie beim Laden beliebigen Code ausführen.
- Infrastruktursouveränität: Die Abhängigkeit von GPU-Clouds von Drittanbietern birgt Risiken hinsichtlich der Datenresidenz und der Verarbeitungsintegrität.
Aktuelle Risikomanagementpraktiken von Anbietern, die sich häufig auf statische Sicherheitsfragebögen wie SOC2-Berichte stützen, sind für die Dynamik von KI-Risiken unzureichend. Eine Compliance-Checkliste bestätigt zwar das Vorhandensein von Richtlinien, überprüft jedoch nicht die Widerstandsfähigkeit eines Inferenz-Endpunkts gegenüber Echtzeit-Jailbreaking oder Prompt-Injektion.
Eine wirksame Sicherheit erfordert eine Umstellung auf quantifizierte Risikobewertung und kontinuierliche Überwachung. Unternehmen müssen die Isolierung des Kontextfensters der KI und die Integrität ihrer Entscheidungslogik überprüfen. Ohne mathematischen Nachweis der Isolierung bleibt der Datenschutz spekulativ.
Sicherheit für KI inmitten zunehmender Risiken
Die folgenden Empfehlungen fassen die wichtigsten Ergebnisse der TrendAI™-Forschung zusammen und bieten umsetzbare Leitlinien zur Minderung, Erkennung und Reaktion auf die besonderen Risiken, die durch Schwachstellen in der KI-Lieferkette, exponierte Infrastruktur und sich entwickelnde Angriffsvektoren entstehen.
Unternehmen müssen mehrschichtige Abwehrmaßnahmen implementieren, die die Integrität der Lieferkette, die Laufzeitüberwachung und architektonische Kontrollen umfassen:
- Kontrollen der Artefaktintegrität: Generieren und überprüfen Sie kryptografische Hashes (SHA-256) für alle Tokenizer-Dateien in CI/CD-Pipelines und zum Zeitpunkt des Modellladens. Blockieren Sie Implementierungen, wenn sich Hashes unerwartet ändern, und verlangen Sie für dokumentierte Genehmigungen für legitime Aktualisierungen. Behandeln Sie Tokenizer-Änderungen mit derselben Strenge wie Abhängigkeitsaktualisierungen oder Änderungen der Modellgewichtung.
- Statistische Baseline-Überwachung: Pflegen Sie Kalibrierungsdatensätze mit bekannten Token-Count Charakteristiken für mehrere Sprachen. Legen Sie Basismetriken für Token pro Zeichen und Token pro Wort fest und implementieren Sie dann automatisierte Regressionstests, die bei Abweichungen von mehr als 10–15 % einen Alarm auslösen.
- Produktionstelemetrie: Implementieren Sie Systeme zur Verfolgung der Zeichenanzahl pro Anfrage, der Token-Anzahl, der Tokenisierungs-Latenz, der CPU-Auslastung und der Kostenmetriken. Gliedern Sie die Messungen nach Sprache, Benutzerregion und Modellvariante auf, um eine unfaire Ressourcenzuweisung zu erkennen. Korrelieren Sie Spitzenwerte bei den Tokens pro Zeichen mit Bereitstellungs-Events, um festzustellen, wann Änderungen am Tokenizer zu einer Verschlechterung geführt haben.
- Feste Grenzen und Quoten: Setzen Sie maximale Eingabe-/Ausgabe-Token-Obergrenzen auf API-Gateway-Ebene durch, um Denial-of-Wallet-Angriffe zu verhindern. Lehnen Sie Anfragen ab oder fassen Sie solche zusammen, die zu einer übermäßigen Fragmentierung in Token führen würden, und implementieren Sie eine Ratenbegrenzung auf der Grundlage der tokenisierten Länge statt der rohen Zeichenanzahl.
- Herkunft der Lieferkette: Laden Sie Modelle ausschließlich von verifizierten Anbietern mit strengen Sicherheitsvorkehrungen herunter. Verlangen Sie eine Codeüberprüfung und Sicherheitsfreigabe für alle internen Tokenizer-Anpassungen, insbesondere beim Hinzufügen domänenspezifischer Token oder beim Ändern von Normalisierungsregeln. Implementieren Sie Workflows zur Modellsignierung und -überprüfung analog zum Scannen von Container-Images.
- Validierung des Antwortformats: Vertrauen Sie in agentenbasierten Systemen niemals allein dem Ausgabeformat, um Aktionen zu autorisieren. Implementieren Sie eine semantische Validierung, die nicht nur überprüft, ob eine Antwort wie ein Tool-Aufruf aussieht, sondern auch, ob der Kontext die Ausführung rechtfertigt. Protokollieren Sie vollständige Kanonisierungsketten für Audit-Trails, die zeigen, wie aus rohen Eingaben umsetzbare Ausgaben wurden.
Die umfassendere Herausforderung, vor der die KI-Sicherheits-Community steht: Das Tempo der Implementierung von KI-Fähigkeiten übertrifft die Entwicklung sicherer Implementierungspraktiken bei weitem. Die fast dreifache Zunahme exponierter Server, die Dominanz veralteter Protokolle, die Exposition von Data-Mining-Tools wie SQL-Ausführungsschnittstellen und die Verbreitung von KI-generiertem oder anfälligem Code erfordern Vorsicht.
Um die Risiken zu mindern, sollten Unternehmen Folgendes tun:
- MCP-Bereitstellungen auf öffentliche Exposition prüfen.
- Ein Upgrade von SSE auf moderne Transportprotokolle durchführen.
- Strenge Rahmenbedingungen für die Tool-Autorisierung implementieren.
- Codeüberprüfungsprozesse einrichten, die speziell KI-generierte Abschnitte auf Sicherheitslücken untersuchen.
Maßgeschneiderte Lösungen wie die der TrendAI Vision One™ unterstützen Verteidiger bei ihren Herausforderungen.