APT und gezielte Angriffe
KI-Modelle vor Manipulationen schützen
KI-Modelle ermöglichen die Anpassung an eine bestimmte Anwendung und die Integration von Workflows. Umso wichtiger sind die ordnungsgemäße Identifizierung und der Schutz von KI-Modelldateien und der zugehörigen Assets vor Manipulationen.
Ein KI-PC ist einer mit einer zentralen Verarbeitungseinheit (CPU), einer Grafikverarbeitungseinheit (GPU) und einer neuronalen Verarbeitungseinheit (NPU). Die NPU verbessert die Fähigkeit eines PCs, KI-gestützte Anwendungen effizient lokal auszuführen, und macht damit eine ständige Internetverbindung überflüssig, sodass Datenschutzprobleme, die bei Service- und Cloud-basierten KI-Lösungen bestehen, verringert werden.
Lokale KI-Modelle ermöglichen die Anpassung an eine bestimmte Anwendung und die Integration von Workflows. Auch kann damit eine webbasierte oder hybride Anwendung einen Teil der Verarbeitung auf dem lokalen Rechner durchführen. Dies spart den mit der Anwendung oder dem Serviceprovider verbundenen Speicher- und Rechenaufwand im Vergleich zu einem vollständig online- oder webbasierten Service.
KI-Modelle können verschiedene Formate haben: Open Neural Network Exchange (ONNX), PyTorch, Keras und Tensorflow gehören zu den beliebtesten. Wir konzentrieren uns auf das ONNX-Modell, eines der gängigsten KI-Modellformate, da es ein offener Standard ist und von verschiedenen Organisationen wie der Linux Foundation, Microsoft und mehreren großen KI-Organisationen unterstützt wird. Dank dieser breiten Adaption können ONNX-KI-Modelle nahtlos auf verschiedenen Software- und Hardwareplattformen eingesetzt werden. Microsofts Phi-3-mini, das Small Language Model (SLM), das auf Copilot+ AI PCs ausgeliefert wird, soll im ONNX-Format vorliegen.
Ein ONNX-Modell besteht aus einem Graphen, der Knoten und Initialisierer (genauer gesagt, die Gewichte und Biases des Modells) sowie Flusssteuerungselemente enthält. Jeder Knoten im Graphen enthält Eingaben, Ausgaben, einen ONNX-Operator (der durch ein Operator-Set oder „opset“ definiert ist) und Attribute (die festen Parameter eines Operators). Darüber hinaus verfügen ONNX-Modelle über Metadaten, die Referenzinformationen über das Modell bereitstellen, obwohl diese Metadaten im Rahmen des Modellbetriebs nicht zwingend sind.
Die Bereitstellung von Modellen auf KI-PCs oder anderen Geräten umfasst zwei entscheidende Aspekte: Die Modelldatei selbst und die Logik für die Verarbeitung der Ein- und Ausgaben des Modells. Beide Komponenten müssen auf ihre Integrität hin überprüft werden.
Erstens muss die Integrität der Modelldatei überprüft werden, um sicherzustellen, dass sie nicht verändert wurde. Jede Änderung kann zu ungenauen Ergebnissen führen, wie in Bild 2, wo die Änderung einer einzigen Abweichung die Vorhersagen des Modells stark beeinflussen kann. In diesem Beispiel antwortet das manipulierte KI-Modell jedes Mal „Goldfisch“, unabhängig davon, welches Tier auf dem Foto zu sehen ist.
Zweitens muss die Logik, die die Eingaben und Ausgaben des Modells verarbeitet, überprüft werden. Das SqueezeNet-Beispiel verwendet eine Textdatei mit Tierbezeichnungen. Wenn diese Datei manipuliert wird, könnte die Ausgabe ein beliebiger Text sein, wie in Bild 2 gezeigt.
Wo liegt also das Problem? Was ist das Schlimmste, was passieren kann, wenn die KI-Anwendung Tiere falsch identifiziert und Labels willkürlich geändert werden können? Die Antwort hängt vom jeweiligen Anwendungsfall ab.
KI wird in viele Geräte, Technologien und Prozesse integriert, und die Auswirkungen von Modellverfälschungen hängen von der Anwendung ab, die das KI-Modell einsetzt. So könnte beispielsweise ein Fertigungsbetrieb ein KI-Modell zur Objekterkennung für die Qualitätskontrolle verwenden. Ist die KI-Modelldatei verfälscht, die für die Qualitätskontrolle zuständig ist, kann die Produktionslinie keine Fehler erkennen und liefert minderwertige Produkte aus.
Ein weiteres Beispiel ist die Objekterkennung in Sicherheitskameras. Um Speicherplatz zu sparen, haben moderne Sicherheitskameras die Option, die Aufzeichnung nur dann zu starten, wenn eine Aktivität oder ein Objekt erkannt wird. Wenn die KI, die für die Erkennung von Aktivitäten und Objekten zuständig ist, Fehler hat (beispielsweise einen Einbrecher fälschlicherweise für einen „Goldfisch“ hält, wird die Aufzeichnungsfunktion nicht ausgelöst), würde dies zu einem Sicherheitsproblem führen.
Diese Szenarien machen deutlich, wie wichtig es ist, KI-Modelldateien und die zugehörigen Assets, wie z. B. Labels, ordnungsgemäß zu identifizieren und vor böswilligen wie auch unbeabsichtigten Manipulationen zu schützen. Es gibt gängige Verfahren zum Schutz der Modelle und der Eingabe-/Ausgabelogik. Zum Schutz der Modellintegrität lassen sich die Modelle mit sigstore signieren und verifizieren oder der Hashwert des Modells überprüfen. Für die Eingabe-/Ausgabelogik wird Programmierern empfohlen, externe Dateien zu validieren, bevor sie diese verwenden.
Obwohl Universal Windows Platform (UWP)-Anwendungen und Windows Store-Apps in einem geschützten Verzeichnis (C:\Programme\WindowsApps) installiert werden und spezielle Berechtigungen zum Ändern erfordern, können zusätzliche Sicherheitsmaßnahmen von Vorteil sein. Der KI-App-Schutz von Trend Micro bietet eine zusätzliche Sicherheitsebene, die böswillige Änderungen an KI-Modellen verhindert und so die Integrität von KI-Assets in der KI-PC-Ära bewahrt.
Fazit
KI ist jetzt eine Allzwecktechnologie, so Andrew Ng auf dem Bipartisan Senate Forum on Artificial Intelligence, und deshalb müssen wir KI-Assets - sowohl solche in der lokalen Maschine, als auch solche, die als Service genutzt werden - als kritische Komponenten behandeln, die geschützt werden müssen und deren Ausfall zu Störungen und unbeabsichtigten Folgen führen. Und da unabhängige Softwareanbieter (ISVs) Anwendungen entwickeln können, die lokale KI-Modelle auf ihren neuen Copilot+ KI-PCs nutzen, ist ein Produkt, das lokale KI-Assets identifiziert und schützt, ein wichtiger Schritt zum KI-Schutz.