Künstliche Intelligenz (KI)
Konzentrisch aufgebaute Sicherheit für souveräne KI
Zu den Bedrohungen souveräner KI-Systeme zählen auch kompromittierte Lieferketten, manipulierte Daten oder verfälschte Modellintegritäten. Damit verändert sich der Umfang und die Art der erforderlichen Abwehrmaßnahmen und Incident Response.
Save to Folio
Wichtige Erkenntnisse
- Souveräne KI legt die Bürde der gesamten Sicherheit in die Hände des Betreibers. physische Infrastruktur, Netzwerk, Lieferkette, Daten, Modellintegrität und Betrieb.
- Unternehmen benötigen einen mehrschichtigen Ansatz. Das bedeutet, Artefakte zu signieren und ihre Herkunft zu dokumentieren, das Laden nicht signierter Gewichte zu verweigern, Stücklisten für Modelle und Daten zu führen und all dies durch Hardware-Sicherheitsmodule (HSMs) sowie die Erkennung von Hintertüren abzusichern.
- Sicherheit muss messbar sein und kontinuierlich überwacht werden. Unternehmen sollten die Abdeckung durch Zertifizierungen, die Herkunftsüberprüfung sowie die Zeit bis zur Erkennung und die Zeit bis zur Eindämmung nachverfolgen. Außerdem sollten Unternehmen die KI-spezifische Reaktion auf Vorfälle durch regelmäßige Tabletop-Übungen einüben.
Wenn die Organisation Eigentümerin der Daten, Modelle, Infrastruktur und Betriebsabläufe ist, trifft ein Angriff direkt das eigene Haus, ohne dass ein vorgelagerter Cloud-Anbieter einen Teil der Auswirkungen abfedern kann. Angreifer zielen in jeder Phase auf KI-Systeme ab, von den Trainingsdaten bis hin zur Inferenz zur Laufzeit.
Die von uns beschriebenen Kontrollmaßnahmen bilden eine mehrschichtige Verteidigung für souveräne KI-Umgebungen ab. Die physische Sicherheit bildet das Fundament. Gleichzeitig setzt die Netzwerkarchitektur Grenzen durch, und die Lieferkettensicherheit stellt sicher, dass Komponenten nicht manipuliert wurden. Die Sicherheit der Trainingsdaten deckt die anfälligste Angriffsfläche ab. Kontrollen der Modellintegrität bestätigen, dass bereitgestellte Modelle den vorgesehenen Spezifikationen entsprechen. Schließlich sorgt die operative Überwachung für Transparenz im System, sodass eine Reaktion möglich ist.
Lieferkettensicherheit für KI-Systeme
Die Sicherung einer KI-Lieferkette bedeutet, traditionelle Praktiken der Software-Lieferkette auf Modelle, Datensätze und die Hardware auszuweiten, auf der KI-Workloads ausgeführt werden. Das MLBOM-Framework (Machine Learning Bill of Materials) bildet die Grundlage für die Nachverfolgung der Bestandteile eines Modells.
Eine „Machine Learning Bill of Materials“ (MLBOM) dokumentiert jede Komponente eines ML-Systems: Modellarchitektur, Trainingsdatensätze, Feature-Engineering-Prozesse, Hyperparameter und Bewertungsmetriken. Das Prinzip: kein MLBOM, keine Produktionsbereitstellung. Trainings- und Paketierungs-Pipelines sollten MLBOMs automatisch generieren, sie bei jeder Transformation aktualisieren und sie unveränderlich zusammen mit den Modellgewichten in Artefakt-Registern speichern.
Daten-Stücklisten (DBOMs) erweitern dieses Konzept auf Trainingsdaten und dokumentieren Quellen, Erhebungsmethoden, Vorverarbeitungsschritte und bekannte Einschränkungen. Für souveräne KI sind DBOMs erforderlich, um nachzuweisen, dass die Trainingsdaten die nationalen Anforderungen hinsichtlich Datenstandort, Einwilligung und Umgang mit Verschlusssachen erfüllen.
Signierte Provenienz und reproduzierbare Builds: Jedes Artefakt bedarf einer kryptografischen Signatur (Modelle, Container, Pakete und Konfigurationen), damit Manipulationen nachweisbar sind. Eine HSM-gestützte Signierung stellt sicher, dass die Schlüssel nicht extrahiert oder kompromittiert werden können. Zum Zeitpunkt der Bereitstellung müssen Systeme das Laden von Artefakten ohne gültige Signaturen von vertrauenswürdigen Schlüsseln verweigern. Reproduzierbare Builds ermöglichen es jedem zu überprüfen, ob ein Artefakt aus den Quelldaten neu erstellt werden kann. Dies bietet sowohl Sicherheitsvorteile (Erkennung von Manipulationen durch Vergleich der Builds) als auch betriebliche Vorteile (Möglichkeit, jede historische Version neu zu erstellen).
Gates für Artefakte: Bereitstellungs-Pipelines setzen Prüfschritte durch, die alle Artefakte blockieren, denen die erforderlichen Bescheinigungen fehlen. Diese Prüfschritte sollten kryptografische Signaturen verifizieren, das Vorhandensein und die Vollständigkeit der MLBOM bestätigen, auf bekannte Schwachstellen in Abhängigkeiten prüfen und validieren, dass die Artefakte von autorisierten Build-Systemen stammen. Admission-Controller in Kubernetes oder gleichwertige Mechanismen in anderen Orchestrierungssystemen können diese Richtlinien automatisch durchsetzen.
Sicherheit der Trainingsdaten
Dies stellt die größte Lücke in den KI-Security-Maßnahmen der meisten Unternehmen dar. Indirekte Pattern der Prompt Injection, die in ansonsten legitim erscheinenden Dokumenten eingebettet sind, überstehen jeden Vorverarbeitungsschritt, der auf ausführbaren Inhalt abzielt.
Webcrawler, die Trainingsdatensätze bereitstellen, sind besonders anfällig. Angreifer können Websites erstellen, deren manipulierte Inhalte so gestaltet sind, dass sie von Trainings-Pipelines erfasst werden. Das Hugging Face-Datensatz-Ökosystem ist zwar wertvoll, enthält jedoch Datensätze, die nicht auf bösartige Inhalte überprüft wurden. Unternehmen, die externe Daten einlesen, müssen diese unabhängig von der Reputation der Quelle als nicht vertrauenswürdig behandeln.
Jede der vierstufigen Kontrollmaßnahmen filtert oder kennzeichnet einzelne Risiken, bevor die Daten das Modell erreichen.
- Quarantäne bei der Datensatzaufnahme: Alle neuen Daten müssen vor der Aufnahme zur Analyse in eine Quarantänezone kommen. Diese Analyse sollte sowohl automatisierte Scans als auch eine stichprobenbasierte manuelle Überprüfung bei risikoreichen Datenquellen umfassen.
- Inhalts-Scan auf indirekte Prompt Injection sollten die eingelesenen Inhalte auf Muster überprüfen, die typisch für indirekte Prompt Injection und Angriffe mit eingebetteten Anweisungen sind.
- Reputation der Quellen und Crawler-Hygiene: Bei der Datenbeschaffung haben vertrauenswürdige, kuratierte Quellen den Vorrang vor einem umfassenden Web-Crawling. Beim Crawling muss die Reputationsbewertung der Quellen Einfluss darauf haben, wie die Daten behandelt werden. Anonyme oder neu erstellte Quellen sollten einer verstärkten Überprüfung unterzogen werden.
- „Canary“-Datensätze zur Erkennung von Vergiftungen und Datenlecks: Einzigartige „Canary“-Datensätze, in die Trainingsdaten eingefügt, können sowohl Vergiftungen (wenn die „Canaries“ verändert werden) als auch Datenlecks (wenn die „Canaries“ in Modellausgaben oder an externen Orten auftauchen) erkennen.
Kontrollen zur Modellintegrität
Die bereitgestellten Modelle müssen so lange intakt bleiben, wie sie im Produktivbetrieb sind.
- Signierung: Jedes Modellartefakt wird kryptografisch signiert mit durch HSMs geschützte Schlüssel. Diese Module verhindern die Extraktion von Schlüsseln selbst durch privilegierte Administratoren, sodass gültige Signaturen nur aus autorisierten Signaturvorgängen stammen können. Der Signaturprozess selbst sollte protokolliert und geprüft werden.
- Verifizierung: Inferenzsysteme sollten das Laden von Modellgewichten verweigern, die nicht anhand bekannter, gültiger Signaturen verifiziert werden können. Die Durchsetzung muss auf Infrastrukturebene durch Zulassungsrichtlinien erfolgen, die von Konfigurationen auf Anwendungsebene nicht umgangen werden können. Modell-Hashes sollten bei jedem Laden überprüft werden, nicht nur bei der Erstbereitstellung, um Manipulationen zur Laufzeit oder Speicherbeschädigungen zu erkennen.
- Monitoring: Dazu gehören regelmäßige Benchmark-Tests mit bekanntermaßen sauberen Datensätzen, Red Team-Tests mit adversarial Eingaben, die auf Backdoor-Verhalten abzielen, sowie der Vergleich von Modell-Output zwischen unabhängig voneinander trainierten Versionen.
Operative Sicherheit und kontinuierliche Überwachung
Die Betriebssicherheit erfordert kontinuierliche Transparenz über die gesamte KI-Infrastruktur hinweg und automatisierte Reaktionen, die innerhalb der souveränen Rahmenbedingungen funktionieren.
Transparenz der Ressourcen und Korrelation von Telemetriedaten: Organisationen müssen ein vollständiges Inventar ihrer KI-Assets führen. Die Sicherheitsüberwachung muss Signale über Endpunkte, Workloads, Identitäten und Netzwerkschichten hinweg korrelieren. Ein Angriff, der kompromittierte Anmeldedaten, modifizierte Trainingsdaten und manipulierte Modelle umfasst, ist von keinem einzelnen Standpunkt aus erkennbar. Tools für das Data Security Posture Management (DSPM) und das AI Security Posture Management (AI-SPM) bieten diese bereichsübergreifende Transparenz.
Automatisierte Eindämmung: Reaktionsszenarien für souveräne Umgebungen müssen vorhanden sein: Cloud-basierte Orchestrierungstools funktionieren in Air-Gapped-Bereitstellungen möglicherweise nicht, und Eindämmungsmaßnahmen müssen Klassifizierungsgrenzen berücksichtigen. Diese Verfahren sollten durch regelmäßige Übungen getestet werden, die realistische Angriffsszenarien simulieren.
Der Fachkräftemangel im Bereich KI-Sicherheit: Es herrscht ein gravierender Mangel an Fachkräften. Diese Knappheit bedeutet, dass souveräne KI-Initiativen um Rechenleistung, Modell-Know-how und einen kleinen Pool an Sicherheitsexperten konkurrieren. Unternehmen, die diese Spezialisten nicht gewinnen können, müssen sie intern ausbilden oder Lücken in ihrer Sicherheitslage in Kauf nehmen.
KI-spezifische Incident Response
Modellmanipulationen umgehen Authentifizierungssysteme, Datenvergiftung hinterlässt keine Serverprotokolle, und Prompt-Injection-Angriffe lösen möglicherweise keine herkömmlichen Sicherheitswarnungen aus. Daher müssen Unternehmen spezialisierte Reaktionsverfahren für KI-spezifische Angriffsvektoren entwickeln:
Diese Reaktionskonzepte sollten im Rahmen vierteljährlichen Übungen getestet werden, wobei die Szenarien entsprechend der Entwicklung der Bedrohungslage aktualisiert werden müssen.
Wichtige Sicherheitskennzahlen und Prüfnachweise
Ohne Kennzahlen ist die Sicherheitslage eher eine Behauptung als eine Tatsache. Unternehmen sollten eine Handvoll Kennzahlen verfolgen, die die aktuelle Sicherheitslage widerspiegeln, Lücken aufdecken und aufzeigen, wo als Nächstes investiert werden sollte:
- Zertifizierungsabdeckung: Prozentsatz der bereitgestellten Modelle mit vollständigen Zertifizierungsketten vom Training bis zur Bereitstellung
- Provenienz-Verifizierungsrate: Prozentsatz der Artefakte, die erfolgreich anhand signierter Herkunftsdatensätze validiert wurden
- Kennzahlen zur Erkennung von Manipulationen: Erkennungsraten für bekannte Manipulationsmuster und Falsch-Positiv-Raten, die den Betrieb verlangsamen.
- Kennzahlen zu Datenlecks und Verstößen gegen Ausgabebeschränkungen: Erfasste Versuche, Modellgewichte, Trainingsdaten oder Inferenzprotokolle zu exfiltrieren
- Zeit bis zur Erkennung und Zeit bis zur Eindämmung: durchschnittliche Zeit bis zur Identifizierung von Sicherheitsvorfällen und durchschnittliche Zeit bis zu deren Eindämmung innerhalb der geltenden rechtlichen Rahmenbedingungen
Diese Kennzahlen sollten regelmäßig an die Geschäftsleitung gemeldet und in die Sicherheits-Governance integriert werden. Prüfnachweise, die die Einhaltung von Sicherheitskontrollen belegen, sind sowohl für die interne Governance als auch für externe regulatorische Anforderungen von Bedeutung.
Überlegungen zur Laufzeit-Sicherheit
Prompt-Injection-Angriffe können das Modellverhalten zum Zeitpunkt der Inferenz manipulieren, selbst wenn die Trainings-Pipelines vollständig gesichert sind. Durch Tool-Hijacking können KI-Agenten dazu gebracht werden, unbefugte Aktionen auszuführen, und bei Modell-Extraktionsangriffen können Angreifer proprietäre Modelle über den Zugriff auf die Inferenz-API stehlen. GPU-Seitenkanalangriffe können dazu führen, dass sensible Informationen, die auf gemeinsam genutzter Hardware verarbeitet werden, nach außen gelangen.
Besonders besorgniserregend ist das „Memory Poisoning“ in KI-Agenten. Im Gegensatz zur herkömmlichen Prompt Injection, die mit dem Ende einer Sitzung aufhört, bleibt vergifteter Speicher bestehen. Ein Agent kann böswillige Anweisungen „lernen“ und sie Tage oder Wochen später wieder abrufen – – und zwar weit über den Zeitpunkt hinaus, zu dem herkömmliche Erkennungsmechanismen danach suchen würden.
Untersuchungen zu Ausfällen in Multi-Agenten-Systemen ergaben, dass sich kaskadierende Fehler exponentiell durch Agenten-Netzwerke ausbreiten können. Laut Gartner werden bis Ende 2027 über 40 % der agentenbasierten KI-Projekte aufgrund eskalierender Kosten, unklaren geschäftlichen Nutzens oder unzureichender Risikokontrollen eingestellt werden.