Künstliche Intelligenz (KI)
KI-Pioniere können ihr Tempo drosseln, Verteidiger nicht
Eine mögliche Verlangsamung der KI-Entwicklung, um Risiken zu mindern, können Abwehrteams nicht mitmachen. Ihre Herausforderung besteht darin, die Geschwindigkeit zu erhöhen, mit der Schwachstelleninformationen in Schutzmaßnahmen umgesetzt werden.
Save to Folio
Als ein Schwarm von KI-Agenten aus seiner Testumgebung ausbrach und in Hugging Face eindrang (ein Ziel, das ihnen niemand zugewiesen hatte), um so das System, das sie bewertete, auszutricksen, veranlasste dies die Führungskräfte von Pionierunternehmen im KI-Bereich, das Tempo ihrer eigenen Innovation zu hinterfragen.
Dario Amodei, CEO von Anthropic, fordert in seinem jüngsten Essay „We Must Pace the Frontier“, dass Unternehmen, die die leistungsfähigsten KI-Modelle entwickeln – also Pionierlabore – unabhängigen Gutachtern Zugang zu ihren internen Systemen gewähren, gezielte Regulierung akzeptieren und den Leistungszuwachs bewusst verlangsamen sollten, damit die Sicherheitsmaßnahmen aufholen können. Sam Altman von OpenAI stimmte innerhalb weniger Stunden zu.
Der Grundgedanke des Vorschlags unserer Partner bei Anthropic und OpenAI ist begrüßenswert, denn die Pionier-KI führt etwas wirklich Neues ein: autonome Systeme, die in der Lage sind, weitreichende Cyber-Aktionen durchzuführen, welche Menschen weder ausgewählt noch vorhergesehen haben. Und schon bald werden diese Fähigkeiten nicht mehr auf wenige Pionierlabore beschränkt sein!
Hier muss aber als Teil der Diskussion differenziert werden: Eine Drosselung der Entwicklung könnte der Welt Zeit verschaffen. Die Aufgabe der Cybersicherheit jedoch besteht darin, diese Zeit zu nutzen, um Abwehrmaßnahmen aufzubauen, die in der Lage sind, KI-Systeme zu beobachten, zu steuern und ihnen entgegenzuwirken, wenn sich diese Fähigkeiten unerbittlich verbreiten. Deshalb ist eine Verlangsamung für diejenigen von uns, die KI für die Cyberabwehr entwickeln und einsetzen, keine Option. Aber um klarzustellen: Was sich Verteidiger nicht leisten können zu verlangsamen, ist nicht die Leistungsfähigkeit der Modelle.
Eine Drosselung kann zwar verlangsamen, wie schnell die leistungsfähigsten Modelle veröffentlicht werden. Sie hat jedoch keinen Einfluss darauf, was geschieht, sobald KI-Agenten in einer Unternehmensumgebung oder in den Händen eines Angreifers laufen.
Das Problem der Steuerung
Selbst ein perfekt abgestimmtes, sorgfältig designtes Modell kann ein katastrophales Risiko darstellen, wenn
- niemand weiß, dass es in der eigenen Umgebung läuft,
- es über zu viele Zugriffsrechte verfügt und
- es niemals überwacht wird.
Der Vorfall bei Hugging Face wurde genau durch diese Lücken ausgelöst. Die Agenten verschafften sich Zugang mithilfe funktionierender Anmeldedaten, die im öffentlichen Web exponiert vorlagen, und bewegten sich dann lateral durch Systeme, bei denen niemand erwartet hatte, dass die Agenten diese erreichen würden.
Unsere aktuelle Studie „Agentic AI’s Shadow Pipeline: Mapping the Attack Surface Behind Trusted Workflows“ zeigt, warum dies keine theoretische Betrachtung ist. Wir stellten fest, dass 47 % der Unternehmen keinen vollständigen Überblick über ihre Cloud-Ressourcen in Multi-Cloud-Umgebungen haben – genau jene Infrastruktur, auf der KI-Agenten mittlerweile laufen. Und wenn KI-Agenten eine Verbindung zu externen Tools und Integrationen herstellen, übernehmen sie die Schwachstellen dieser Tools: Bis zu 20 % der Open-Source-Repositories enthalten ausnutzbare Schwachstellen.
TrendAI™ arbeitet mit den Kunden aus der Wirtschaft und der öffentlichen Verwaltung zusammen, um Governance-Frameworks zu entwickeln, die dazu beitragen, Risiken zu reduzieren – unabhängig davon, in welche Richtung sich die Pionier-KI entwickelt. Vier Fragen sind dabei wichtig:
- Transparenz/Überblick: Welche KI-Systeme oder -Agenten laufen in Ihrer Umgebung, und wo fließen sensible Daten in diese ein?
- Verantwortlichkeit: Wer ist für die einzelnen Systeme oder Agenten verantwortlich, und verfügt einer der Agenten über mehr Zugriffsrechte, als die Aufgabe erfordert?
- Observability: Veröffentlichen KI-Systeme oder Agenten Daten, werden sie manipuliert oder verhalten sich anders als ursprünglich beabsichtigt?
- Governance: Können Sie nachweisen, dass Ihre KI-Risiken unter Kontrolle sind?
Dies sind die Grundlagen für KI-Cybersicherheit – ganz gleich, ob das zugrunde liegende Modell aus einem Pionierlabor, einem Open Source-Projekt oder einer Quelle stammt, die das Unternehmen nie genehmigt hat. Organisationen, die diese Grundlagen jetzt schaffen, werden dafür gerüstet sein, wenn Fähigkeiten der Spitzenklasse keine Seltenheit mehr sind.
Das Geschwindigkeitsproblem
Angreifer nutzen KI bereits, um Schwachstellen schneller zu finden und auszunutzen, als rein menschliche Abwehrmaßnahmen reagieren können. Mit der zunehmenden Verbreitung von „Frontier“-Technologien werden diese Angriffe autonomer und schwerer vorhersehbar.
Heute gibt es mehr Schwachstellen, als jedes Team beheben kann, und KI beschleunigt sowohl deren Aufdeckung als auch deren Ausnutzung. Die Herausforderung für Abwehrteams besteht daher darin, die Geschwindigkeit, mit der wir Schwachstelleninformationen in Schutzmaßnahmen umsetzen können, also die „Time to Zero“, ständig zu erhöhen.
TrendAI™ verfügt über ausreichend Bedrohungsforscher weltweit, die KI und menschliche Intelligenz nutzen, um Bedrohungen aufzudecken und virtuelle Patches zu erstellen, die schnell bereitgestellt werden können. Bei Schwachstellen, die bereits ausgenutzt werden, kann unser virtuelles Patching Schutz für bis zu 115 Tage vor der Veröffentlichung von Hersteller-Patches bieten. Die Bereitstellung dieses Schutzes hängt von kontinuierlicher KI-Innovation ab und von der Tatsache, dass die leistungsfähigsten Modelle für Verteidiger zum Einsatz kommen, sobald sie sicher verwendet werden können.
Angreifer machen keine Pause
Die meisten Unternehmen setzen bereits KI-Agenten ein, mit oder ohne entsprechende Governance-Maßnahmen. Während die Branche also über das Tempo der KI-Innovation debattiert, dürfen wir das immer schneller werdende Tempo der KI-Bedrohungen nicht aus den Augen verlieren.
Wie viel Zeit uns diese Verlangsamung auch verschafft – Verteidiger müssen sie nutzen, um die Fähigkeit aufzubauen, KI-Systeme zu kontrollieren, zu beobachten und ihnen entgegenzuwirken, bevor bahnbrechende Fähigkeiten in jedermanns Händen liegen – auch in denen der Angreifer.
Genau die Gründe, aus denen Spitzenforschungslabore die Entwicklung von KI-Modellen verlangsamen wollen, sind auch die Gründe, warum Verteidiger es sich nicht leisten können, dies zu tun. Cybersicherheit im KI-Zeitalter muss unbeabsichtigte Folgen ebenso rigoros eindämmen, wie sie böswillige Absichten abwehrt.