Cloud
KI-Skills als neue Angriffsfläche
KI-Skills schließen die Lücke zwischen deren Fähigkeiten und realen Abläufen, bringen jedoch auch neue Risiken und Angriffsflächen mit sich. Wo liegt das Potenzial aber auch die Herausforderungen bei der Einführung von KI-Skills?
Save to Folio
Wichtige Erkenntnisse:
- KI-Skills, also ausführbare Wissensartefakte, kombinieren die für Menschen lesbaren Anweisungen mit LLM-interpretierbarer Logik und stellen eine kritische neue Angriffsfläche dar.
- Unternehmen setzen KI-Automatisierung und KI-Skills ein, um den Personalmangel vor allem Security Operations Centers (SOCs) und bei Managed Security Service Providers (MSSPs) zu beheben.
- Angreifer, die sich Zugang zu SOC-Skills verschaffen, können die Logik der Alarmtriage, Korrelationsregeln, Verfahren zur Reaktion auf Vorfälle und Berichtsmetriken erlernen.
- KI-Skills werden in kritischen Sektoren eingesetzt, die jeweils mit sektorspezifischen Sicherheitsrisiken konfrontiert sind, so Finanzdienstleister, Gesundheitswesen, industrielle Sektoren oder der öffentliche Sektor.
- Diese Bedrohungen und Risiken sind für die meisten herkömmlichen Sicherheitstools blinde Flecken.
Die meisten Unternehmen sind noch damit beschäftigt, KI sinnvoll zu integrieren. Deren Skalierung ist auch mit Hindernissen verbunden, etwa starre Systemarchitekturen, begrenzte domänenspezifische Funktionen oder auch Schwierigkeiten bei der Anpassung von Lösungen. KI-Skills können eine Antwort auf diese Einschränkungen geben, denn damit lassen sich experimentelle KI-Fähigkeiten in ausführbare und skalierbare Vorgänge umwandeln.
Was ist eine KI-Skill?
Eine KI-Skill ist ein Artefakt, das ein hybrides Wissensformat darstellt und für Menschen lesbaren Text mit Anweisungen kombiniert, die große Sprachmodelle (LLMs) interpretieren und ausführen können. Sie umfassen alles, von Elementen wie menschlichem Fachwissen, Arbeitsabläufen und betrieblichen Einschränkungen bis hin zur Entscheidungslogik. Wenn dieses Wissens in eine ausführbare Form gebracht wird, ermöglichen KI-Skills Skalierbarkeit und Wissenstransfer auf einem neuen Niveau.
Anthropic, Entwickler der Claude LLM-Familie, bezeichnet KI-Skills offiziell als Agent Skills und definiert sie als „organisierte Ordner mit Anweisungen, Skripten und Ressourcen, die Agenten dynamisch entdecken und laden können, um bestimmte Aufgaben besser auszuführen”. Weitere Beispiele sind die GPT Actions von OpenAI und die Copilot Plugins von Microsoft.
Ein blinder Fleck
Der Einsatz von KI-Skills hat auch erhebliche Auswirkungen auf die Sicherheitslage und die Verteidigungsfähigkeit vieler Organisationen. Beispielsweise könnte die Einführung von KI-Automatisierung, die automatisierten Reaktionen von Unternehmen für Angreifer vorhersehbarer machen. Durch den Zugriff auf den KI-Automatisierungskorpus würden Angreifer diesen in einer Sandbox-Umgebung nachbilden und dazu nutzen, um ihre Techniken zur Erkennungsumgehung zu testen.
Vielen der heutigen Sicherheits- und Verteidigungstools fehlt die Fähigkeit, Bedrohungen aus unstrukturierten Textdaten, wie sie KI-Skills darstellen, effektiv zu erkennen, zu analysieren und zu mindern. Ein gutes Beispiel stellt OpenClaw und dessen Sicherheitsprobleme dar. KI-Sicherheitslösungen müssen daher in der Lage sein, den semantischen Inhalt des KI-Skill-Korpus zu verstehen.
Auswirkungen auf kritische Umgebungen
Moderne KI-Umgebungen ermöglichen die Bewahrung von institutionellem Wissen in ausführbarer und operativ nutzbarer Form. KI-Skills verbessern diese Fähigkeit noch weiter. Da sieFachwissen erfassen können, lassen sie sich zu virtuellen Persönlichkeiten kombinieren, die wiederum zu digitalen Zwillingen synthetisiert werden, die das Verhalten, die Aufgaben und die Vorgehensweisen menschlicher Spezialisten simulieren. Das führt zu beschleunigtem Wissenstransfer für kritische Geschäftsprozesse, optimierter Einarbeitung neuer Mitarbeiter, weniger Verlust von Fachwissen, wenn Mitarbeiter das Unternehmen verlassen, sowie zu skalierbarer Automatisierung von zuvor manuellen oder von Experten gesteuerten Arbeitsabläufen.
In nächster Zeit ist mit neuen Skills für wichtige kritische Branchen zu rechnen, etwa für Finanzdienstleistungen, Technologie, Medien und Kommunikation, Energie- und Fertigungsbranche oder im Gesundheitswesen und im öffentlichen Sektor.
Öffentliche Exponierung von KI-Skills
Bei näherer Betrachtung dieser domänenspezifischen KI-Skills zeigen sich auch ihre möglichen Nachteile. Öffentliche GitHub-Repositorys hosten bereits domänenspezifische Skills, die sensible Betriebsparameter offenlegen. Die Sammlung „Awesome Claude Skills“ katalogisiert beispielsweise Hunderte von Community-basierten Skills aus verschiedenen Branchen, darunter Finanztrading, Materialwissenschaften, Sicherheitsoperationen oder Marketing.
Die Tabelle fasst Auswirkungen auf die Sicherheit in jedem Sektor zusammen.
Branche |
Beispiele für Skills |
Risiken |
Finanzdienstleistungen |
|
|
Gesundheitswesen |
|
|
Industrie/Energie/Fertigung |
|
|
Öffentlicher Sektor |
|
|
Technologie/Medien/Kommunikation |
|
|
Bedrohungsmodelle und Angriffsvektoren
KI-Skills stellen eine unkonventionelle und noch unterschätzte Angriffsfläche dar. Böswillige Akteure werden nicht nur nach Schwachstellen in den zugrunde liegenden Komponenten suchen, auf denen KI-Skills basieren, sondern auch in der Logik der Skills selbst.
Darüber hinaus stellt eine KI-Skill selbst eine Form proprietärer Daten dar und kann sensible Betriebsinformationen enthalten, wie z. B. Schwellenwerte und Auslöser für Prozesse oder Verfahren eines Unternehmens für den Umgang mit sensiblen Daten. Verschafft sich ein Angreifer Zugriff auf die Logik hinter einer Funktion, kann ihm dies erhebliche Möglichkeiten zur Ausnutzung bieten – vom Verkauf der Daten bis zu Spionage.
SOCs sind bei der Integration von KI-Skills in ihre Prozesse mit besonderen Risiken konfrontiert. Die zentrale Herausforderung liegt in Injection-basierten Angriffsvektoren. KI-Skills mischen vom Benutzer bereitgestellte Daten mit den gelieferten Anweisungen. Diese Kombination aus Daten und ausführbarer Logik schafft eine Mehrdeutigkeit, die es wiederum für Verteidigungswerkzeuge – und sogar für die KI-Engine selbst – schwierig macht, sicher zwischen echten Analystenanweisungen und von Angreifern gelieferten Inhalten zu unterscheiden. Damit aber ist es nicht möglich, sich gegen Injektionsangriffe zu verteidigen. KI-Skills schaffen unbeabsichtigt Bedingungen für KI-Varianten traditioneller Injection-Angriffe, bei denen bösartige Inhalte die LLM-Ausführungslogik manipulieren können.
Eskalationspfad: Von taktisch zu strategisch
Wenn die Skills systematisch von einem böswilligen Angreifer gesammelt werden, können sie kritische Geschäftsprozesse eines Unternehmens offenlegen, die sensible Einblicke in die Funktionsweise, Entscheidungsfindung und Verteidigung eines Unternehmens geben. Je mehr KI-Skills Angreifer kompromittieren, desto mehr Vorteile haben sie: Ein oder zwei Skills bieten einen taktischen Vorteil (z. B. das Identifizieren bestimmter Erkennungsblindspots), über 20 ermöglichen strategische Modellierung (z. B. vollständiges Verständnis der SOC-Prioritäten). Ein vollständiger Skill-Satz ermöglicht eine vollständige Verhaltensvorhersage und die Erstellung digitaler Zwillinge (z. B. die Konstruktion digitaler Zwillinge von Sicherheitsanalysten).
In einem nächsten Beitrag wird es um die Verteidigung der KI Skills gehen mit einem neuen Kill-Chain-Modell und angepassten Maßnahmen.
Über die Autoren
Das Forward-Looking Threat Research Team von TrendAI™ Research hat sich auf die Erforschung von Technologien für die nächsten ein bis drei Jahre spezialisiert hat, wobei der Schwerpunkt auf drei verschiedenen Aspekten liegt: der technologischen Entwicklung, ihren sozialen Auswirkungen und kriminellen Anwendungen.