Künstliche Intelligenz (KI)
Komplexe Absicherung souveräner KI
Die Absicherung souveräner KI verändert den Umfang der erforderlichen Abwehrmaßnahmen. Denn die Angriffsfläche erstreckt sich von der physischen Hardware über Trainingspipelines bis hin zur Laufzeit-Inferenz.
Save to Folio
Wichtige Erkenntnisse
- Souveräne KI legt die Bürde der gesamten Sicherheit in die Hände des Betreibers: physische Infrastruktur, Netzwerk, Lieferkette, Daten, Modellintegrität und Betrieb.
- Die Angriffsfläche ist größer als in der traditionellen IT. Sie umfasst Trainingsdaten, Modellgewichte und Adapter, die Software-Abhängigkeitskette und sogar Insider in Umgebungen mit hohem Vertrauensniveau.
- Manipulierte Trainingsdaten oder verfälschte Gewichte können das Modell selbst zum Angriffsvektor machen, und herkömmliche Tools haben Schwierigkeiten, diese zu identifizieren.
Wir haben bereits die fünf Ebenen souveräner KI vorgestellt: Grundlage, Infrastruktur, Daten und Modelle, Betrieb sowie strategische Autonomie. Wer die Infrastruktur besitzt, ist aber auch für deren Verteidigung verantwortlich.
Unternehmen, die sich bisher in Sicherheitsfragen auf Hyperscaler verlassen haben, sehen sich nun Bedrohungen gegenüber, die direkt auf KI-Systeme abzielen: Datenvergiftung, Manipulation von Modellen und Kompromittierung der Lieferkette können Modelle beschädigen, die für Verteidigung, Analytik oder öffentliche Dienste genutzt werden. Bei souveräner KI liegt die Verantwortung für jeder Ebene des Sicherheits-Stacks bei dem Betreiber.
Die erweiterte Angriffsfläche souveräner KI
Souveräne KI verändert die Form der Angriffsfläche. Bei Hyperscaler-Bereitstellungen wird der Großteil des Sicherheits-Stacks an den Provider abgegeben, während bei souveränen Implementierungen diese Verantwortlichkeiten intern übernommen werden. Organisationen akzeptieren diesen Kompromiss von vornherein: Sie übernehmen neue Sicherheitsbereiche im Austausch für die rechtliche und operative Kontrolle, die Souveränität mit sich bringt. Die Aufgabe besteht darin, diese Bereiche abzugrenzen und sie anschließend personell und finanziell auszustatten.
Das Bedrohungsbild für autonome KI-Systeme 2026 ist komplex. Das Center for AI Standards and Innovation (CAISI) des National Institute of Standards and Technology (NIST) nennt mehrere Risiken für KI-Agentensysteme: Modelle, die mit feindlichen Daten interagieren (z. B. indirekte Prompt-Injektion), die Verwendung unsicherer Modelle (z. B. Modelle, die anfällig für Datenvergiftung sind) sowie Modelle, die auch ohne feindliche Eingaben Maßnahmen ergreifen, die die Sicherheit beeinträchtigen. Bei KI-Systemen in kritischen Infrastrukturen wirken sich diese Risiken direkt auf die öffentliche und die nationale Sicherheit aus.
Eine organisatorische Lücke erschwert die Abwehr. Die Datenwissenschaftler, die Trainingsdaten kuratieren, und die Sicherheitsteams, die die Infrastruktur schützen, arbeiten in der Regel unabhängig voneinander. Datenvergiftung nutzt diese Lücke aus, indem sie als gewöhnliche Daten und nicht als Eindringen in Erscheinung treten. Herkömmliche Perimeter-Kontrollmaßnahmen erkennen dies nicht.
Das Bedrohungsmodell
Wenn die Organisation Eigentümerin der Daten, Modelle, Infrastruktur und Betriebsabläufe ist, trifft ein Angriff direkt das eigene Haus, ohne dass ein vorgelagerter Cloud-Anbieter einen Teil der Auswirkungen abfedern kann. Angreifer zielen in jeder Phase auf KI-Systeme ab, von den Trainingsdaten bis hin zur Inferenz zur Laufzeit.
Vergiften von Trainingsdaten und versteckte Hintertüren
Die Verfälschung von Trainingsdaten gehört zu den am schwersten zu erkennenden Bedrohungen. Angreifer manipulieren Trainingsdaten bereits an der Quelle, um versteckte Hintertüren und unzuverlässige Modelle zu erzeugen. Untersuchungen führten vor, dass KI-Modelle im Gesundheitswesen äußerst anfällig sind: Bereits 100 bis 500 manipulierte Samples reichen aus, um Diagnoseergebnisse institutionenübergreifend zu verfälschen. In Branchen, die auf Daten mit hoher Integrität angewiesen sind, kann ein einziges manipuliertes Modell in großem Maßstab zu Fehldiagnosen, fehlerhaften Warnmeldungen oder falschen Entscheidungen führen.
Untersuchungen von Anthropic zeigten, dass bereits 250 bösartige Dokumente ausreichten, um große Sprachmodelle (LLMs) zu vergiften, wobei der Angriff unabhängig von der Modellgröße – von 600 Millionen bis 13 Milliarden Parametern – funktionierte. Die vergifteten Dokumente umfassten insgesamt rund 420.000 Token, jeweils etwa 1.680 Token, die in den für das Training verwendeten großen Datensätzen leicht zu übersehen sind. Herkömmliche Methoden zur Dokumentbereinigung (Konvertierung in Markdown, Entfernen von Makros oder eingebetteter Objekte) bieten keinen Schutz, da die Payload der Text selbst ist. Bösartige Prompts und URLs überstehen jeden Vorverarbeitungsschritt, der auf ausführbaren Inhalt abzielt.
Infizierte Modelle verhalten sich oft normal, bis ein Auslöser auftritt. Ein manipuliertes Modell kann seine allgemeinen Leistungsbenchmarks erfüllen, versagt jedoch systematisch bei den spezifischen Eingaben, die die Hintertür aktivieren. Diese Auslöser können subtile Phrasen, bestimmte Datenmuster oder datumsbasierte Aktivierungen sein, die monatelang oder jahrelang inaktiv bleiben.
Manipulieren von Modellen
Angreifer können Modellgewichte, Fine-Tuning-Adapter und Checkpoint-Dateien direkt verändern. Ohne kryptografische Verifizierung der Modellartefakte lässt sich nicht garantieren, dass das vom Unternehmen implementierte Modell auch das vorgesehene ist. Dies erfordert die Absicherung der Modell-Lieferkette vom Training über das Fine-Tuning bis hin zur Bereitstellung.
Hugging Face und ähnliche Modell-Repositorys hosten Tausende vortrainierter Modelle, die Unternehmen herunterladen und feinabstimmen. Wenn Angreifer eines dieser Basismodelle manipulieren, breitet sich das böswillige Verhalten auf jedes Unternehmen aus, das es nutzt. Ohne Überprüfung der Herkunft und Integrität könnten Unternehmen Schwachstellen aus jedem vorgelagerten Modell übernehmen, auf dem sie aufbauen.
Kompromittieren von Abhängigkeiten
Die Software-Lieferkette für KI-Systeme umfasst Python-Pakete, Container-Images, CUDA-Bibliotheken und Orchestrierungs-Frameworks. Sicherheitsforscher haben zahlreiche Komponenten von Agent-Frameworks entdeckt, die Schwachstellen enthalten, die durch Kompromittierungen der Lieferkette eingeschleust wurden. Zahlreiche Entwicklungsteams verwenden weiterhin veraltete Versionen, ohne sich des Risikos bewusst zu sein. Kompromittierungen der Lieferkette sind nahezu nicht nachweisbar, bis sie ausgelöst werden, und Sicherheitsteams können legitime Bibliotheksaktualisierungen nicht ohne Weiteres von manipulierten unterscheiden.
Insider-Risiko in Umgebungen mit hohem Vertrauensniveau
Der Einsatz souveräner KI-Systeme gibt dem Betreiber eine direktere Kontrolle darüber, wer auf sensible Systeme zugreift, als dies bei Hyperscalern der Fall ist. Der Nachteil ist die Konzentration: Eine kleine Gruppe von Mitarbeitern verfügt über das Vertrauen und den Zugang zu Trainingsdaten, Modellgewichten und Produktionssystemen. Diese Personen stellen selbst eine Lieferkette dar, die abgesichert werden muss. Mitarbeiter mit Zugriff auf Trainings-Pipelines können manipulierte Daten einspeisen, solche mit Zugriff auf Modellregister können manipulierte Modelle einsetzen, und diejenigen mit Zugriff auf die Produktion können Modellgewichte oder Trainingsdaten abziehen.
Herkunftsland bei der Auswahl von Cybersicherheitsanbietern
Der Standort des Hauptsitzes eines Cybersicherheitsanbieters birgt geopolitische Risiken, die bei der Einführung souveräner KI nicht ignoriert werden dürfen. Westliche Nationen wie das Vereinigte Königreich, die USA, Finnland und Japan haben ausdrücklich für risikoreiche Anbieter aus gegnerischen Staaten, insbesondere China und Russland, strenge Auflagen erlassen, um Geräte aus kritischen Infrastrukturen wie 5G-Netzen zu entfernen. Außerdem stellte die Europäische Agentur für Cybersicherheit (ENISA) fest, dass mehr als 50 % der bestätigten Angriffe auf die Lieferkette zwischen 2020 und 2021 bekannten Cyberkriminalitätsgruppen zugeschrieben wurden, und empfahl den nationalen Behörden, das Lieferkettenrisiko bei Beschaffungsentscheidungen auf nationaler Ebene zu berücksichtigen.
Bei der Auswahl von Anbietern für souveräne KI sollten Betreiber das Risiko hinsichtlich der gerichtlichen Zuständigkeit gegen die technische Leistungsfähigkeit abwägen. Die leistungsfähigsten Sicherheitsanbieter haben oft ihren Hauptsitz in den USA und unterliegen dem CLOUD Act – genau jener extraterritorialen Reichweite, die souveräne KI-Initiativen zu vermeiden suchen –, während chinesische und russische Anbieter aus Gründen der staatlichen Nachrichtendienste von kritischen Infrastrukturen im Westen ausgeschlossen sind. Organisationen sollten Sicherheitsanbieter auf dieselbe Weise bewerten, wie sie Cloud-Infrastrukturen bewerten: Rechtsordnung des Hauptsitzes und geltende Zwangsgesetze, Eigentümerstruktur und Übernahmerisiko, Betriebsgeschichte sowie die Frage, ob der Anbieter in einer befreundeten Rechtsordnung ansässig ist, ohne extraterritorialen rechtlichen Risiken ausgesetzt zu sein.
Ein mehrstufiges Anbieterportfolio mindert dieses Risiko: etablierte Anbieter aus befreundeten Ländern für die sensibelsten Infrastrukturen, eine Mischung aus etablierten und inländischen Spezialisten für spezifische Fähigkeiten sowie lokale Start-ups für Pilotprojekte in der Frühphase. Dieses Prinzip spiegelt die Multi-Modell-Strategie wider, bei der kein einzelner Anbieter zum Single Point of Failure für souveräne Sicherheitsoperationen werden darf.
Physische Sicherheit
Die physische Sicherheit ist oft der am stärksten unterfinanzierte Teil staatlicher KI-Implementierungen. Dabei kann der physische Zugriff auf die KI-Infrastruktur praktisch alle weiteren Schutzmaßnahmen umgehen.
Bei der Standortwahl müssen sowohl die physische Sicherheit als auch der rechtliche Schutz betrachtet werden. Bei als vertraulich eingestuften Workloads sollten Einrichtungen klassifizierte und nicht klassifizierte Bereiche physisch voneinander trennen. Physische Zugangskontrollen müssen über die Perimetersicherheit hinausgehen und bis auf Rack-Ebene reichen, mit Personenschleusen, dem Prinzip der geringsten Berechtigungen und einer lückenlosen Protokollierung. Insbesondere GPU-Hardware ist ein hochwertiges Ziel für Diebstahl oder Manipulation und erfordert spezielle Schutzmaßnahmen. Eine Dokumentation der Verwahrungskette sollte jede Komponente über ihren gesamten Lebenszyklus hinweg nachverfolgen.
Sicherer Umgang mit Datenträgern
Alle Speichermedien, auf denen Modellgewichte oder Trainingsdaten gespeichert sind, müssen im Ruhezustand verschlüsselt sein, wobei die Schlüssel in einem Hardware-Sicherheitsmodul (HSM) aufbewahrt werden. Die Rotation und Vernichtung von Medien muss nach dokumentierten Verfahren erfolgen. In Air-Gapped-Umgebungen ist die physische Medienübergabe der primäre Aktualisierungsweg, wobei jede Datenübertragung in die oder aus der Einrichtung sicher abgewickelt und überprüft wird.
Souveräne Netzwerksicherheit
Die Netzwerkarchitektur für souveräne KI muss strenge Grenzen aufsetzen und gleichzeitig den Betrieb der Systeme ermöglichen. Die Standardhaltung sollte „alles verweigern“ lauten: Ohne ausdrückliche Genehmigung findet kein Datenverkehr statt.
Netzwerkkontrollen und -segmentierung: Souveräne KI-Netzwerke müssen den ausgehenden Internetzugang standardmäßig blockieren und alle notwendigen Verbindungen über geprüfte Proxys leiten. Ein privates DNS (Domain Name System) verhindert die Abhängigkeit von externen Auflösungsdiensten. Die Netzwerksegmentierung sollte betriebliche Grenzen und Datenklassifizierungsstufen widerspiegeln. Training-Workloads, die sensible Daten verarbeiten, werden von Inferenzsystemen isoliert, wobei segmentübergreifender Datenverkehr ausdrücklich autorisiert und protokolliert werden muss.
Monitoring in souveränen Umgebungen: Air-Gapped-Systeme können Protokolle nicht an externe SIEM-Systeme (Security Information and Event Management) weiterleiten. Stattdessen müssen Organisationen eine lokale Sicherheitsüberwachung einsetzen, die Bedrohungen ohne externe Konnektivität erkennen kann. In teilvernetzten Umgebungen sollte der Überwachungsverkehr über streng kontrollierte Kanäle fließen.
In einem zweiten Teil geht es um Fragen der Sicherheit für Lieferketten, Trainingsdaten, Modellintegrität sowie die operative Sicherheit.