Cyberbedrohungen
Verteidigung im Zeitalter von KI
Autonome KI-Tools verbessern Angriffe erheblich und übernehmen mehr und mehr die Programmierung und Ausführung von Attacken. Konsequenterweise muss die Verteidigung ebenfalls dringend agentenbasierte KI-gesteuerte Sicherheit bieten.
Save to Folio
Wichtige Erkenntnisse:
- Die KI-gesteuerte Cyberspionagekampagne, bei der das Tool Claude Code von Anthropic zum Einsatz kam, signalisiert eine wichtige Veränderung in der Bedrohungslandschaft hin zum Einsatz von KI und KI-Agenten, um komplexe Cyberangriffe mit minimalem menschlichem Eingriff zu automatisieren und zu skalieren.
- Die kriminelle Nutzung von generativer KI und agentenbasierter KI entwickelt sich schrittweise weiter mit Tools wie jailbroken Large Language Models (LLMs) und Deepfake-Diensten.
- Agentische KI-Architekturen ermöglichen die Automatisierung komplexer Angriffsketten und schnelle Anpassung an veränderte Umstände für anhaltende, skalierbare Kampagnen.
- Um KI-gestützten Bedrohungen wirksam entgegenzuwirken, müssen Unternehmen in agentenbasierte KI-gesteuerte Sicherheitsplattformen investieren, Angriffsszenarien wie den Einsatz von Digital-Twin-Technologie proaktiv simulieren, Methoden zur Bedrohungserkennung und -zuordnung verbessern und verantwortungsvolle Offenlegungspraktiken fördern.
Anthropic hat eine von KI orchestrierte Cyberspionage-Kampagne aufgedeckt. Dies zeigt erneut, wie Angreifer autonome künstliche Intelligenz (KI) einsetzen, um ihre Cyberangriffe zu automatisieren und zu skalieren. An dem Vorfall war eine mit China in Verbindung stehende Gruppe beteiligt, die das Tool „Claude Code“ von Anthropic manipulierte, um etwa 30 Organisationen weltweit anzugreifen, darunter Technologieunternehmen, Finanzinstitute, Chemiehersteller und Regierungsbehörden. Die Akteure umgingen die KI-Sicherheitsvorkehrungen durch Jailbreaking-Techniken und wiesen die KI an, mit minimalem menschlichem Eingriff die Erkundung zu führen, Exploit Code zu entwickeln, Anmeldedaten zu sammeln und sensible Daten zu exfiltrieren.
Die Entwicklung in der Bedrohungslandschaft
Frühe Phasen
Die Untersuchungen von Trend Micro zur kriminellen Nutzung von KI zeigen eine sich schnell entwickelnde Landschaft: Die Recherche zu Untergrundforen und -marktplätzen ergab, dass Cyberkriminelle zwar zunächst nur zögerlich GenAI-Technologien übernommen haben, ihr Interesse und ihre Aktivitäten jedoch immer mehr geworden sind. In der Anfangsphase konzentrierte sich die kriminelle Nutzung darauf, KI-Tools wie ChatGPT zur Unterstützung der Programmierung von Malware, der Erstellung von Phishing-E-Mails und der Entwicklung von Social-Engineering-Kampagnen einzusetzen. Bei diesen Aktivitäten ging es jedoch in der Regel darum, KI zur Verbesserung bestehender Angriffsmethoden zu nutzen, statt selbst KI-gestützte Malware zu entwickeln.
Sehr häufig werden sogenannte kriminelle Large Language Models (LLMs) verbreitet. In den meisten Fällen handelt es sich nicht um wirklich individuell trainierte Modelle, sondern um Jailbreak-as-a-Service-Frontend–Schnittstellen, die speziell entwickelte Prompts verwenden, um die ethischen Sicherheitsvorkehrungen kommerzieller LLMs zu umgehen und ungefilterte, bösartige Antworten zu liefern. Bekannte Beispiele sind WormGPT und DarkBERT, die in verschiedenen Formen wieder auftauchen, vorgeblich mit neuen Funktionen oder Fähigkeiten. Viele dieser Angebote sind Betrugsversuche oder einfach neu verpackte Schnittstellen zu kommerziellen Modellen, doch die Nachfrage nach Privatsphäre und Anonymität unter Kriminellen treibt die kontinuierliche Entwicklung voran.
Deepfake-Technologien sind ebenfalls ein Bereich mit schnellem Wachstum. Kriminelle bieten mittlerweile Deepfake-Dienste an, um Know-Your-Customer-Prüfungen (KYC) bei Finanzinstituten zu umgehen, Scams zu erleichtern und Erpressungen durchzuführen. Diese Services sind erschwinglicher und zugänglicher geworden und reichen von Bild- und Videomanipulation bis hin zur Avatar-Generierung in Echtzeit für betrügerische Videoanrufe. Die Qualität und Ausgereiftheit dieser Tools verbessert sich ständig, sodass Angreifer nicht mehr nur prominente Personen, sondern auch normale Bürger ins Visier nehmen können.
Aktuelle Phase
Angreifer haben inzwischen begonnen, KI aktiv in die Malware selbst zu integrieren. Bemerkenswerte Fälle wie die Verwendung von HuggingFace-gehosteter KI durch LameHug (PROMPTSTEAL) zur Erstellung von Skripts zum Diebstahl von Informationen und die Anfrage nach Verschleierungstechniken durch PROMPTFLUX von Googles Gemini-KI zeigen, wie die Akteure über traditionelle, statische Malware hinausgehen, obwohl Kriminellen noch immer mit Herausforderungen kämpfen, wie der Sperrung von API-Schlüsseln und der Unvorhersehbarkeit von KI-generiertem Code.
Proaktive Sicherheitsstrategien sind daher unumgänglich, denn herkömmliche Abwehrmaßnahmen wie Netzwerksegmentierung, Multifaktor-Authentifizierung (MFA) und Endpoint Detection and Response (EDR) bilden zwar nach wie vor die Grundlage der Cybersicherheit, werden aber durch KI-gestützte Cyberbedrohungen zunehmend in Frage gestellt.
„Vibe-codierte“ Angriffe, bei denen KI-generierter bösartiger Code verwendet wird, der vertrauenswürdige Quellen imitiert, erschweren die Zuordnung und die signaturbasierte Erkennung, da KI Malware-Fragmente erstellen kann, die legitimer Forschung sehr ähnlich sind oder die Taktiken anderer Angreifer imitieren, sodass es für Verteidiger schwierig ist, zwischen echten und bösartigen Aktivitäten zu unterscheiden.
Anthropic berichtete, dass Claude dazu manipuliert wurde, seinen eigenen Exploit-Code zu schreiben, der dann Anmeldedaten sammeln konnte, die Angreifern Zugriff auf sensible Informationen verschafften. KI-gestützte Malware, insbesondere in Form von agentenbasierter KI, stellt einen transformativen Wandel im Ökosystem der Cyberkriminalität dar. Da KI-Agenten beginnen, die von Menschen gesteuerte Nutzung von GenAI zu verdrängen, werden Angreifer zunehmend ihre eigenen agentenbasierten KI-Architekturen einsetzen. Hier werden spezialisierte Agenten – jeder mit seinen eigenen Tools und Rollen ausgestattet – unter der Leitung ausgefeilter Orchestrierungsebenen zusammenarbeiten.
Durch die Automatisierung von Aufgaben, die früher die koordinierte Arbeit ganzer Teams erforderten, können Angriffe, die früher Tage oder Wochen dauerten, nun innerhalb von Stunden durchgeführt werden. Und da diese KI-Agenten in großem Maßstab repliziert werden, sind die Angreifer auch in der Lage, Kampagnen über mehrere Ziele hinweg gleichzeitig zu starten und anzupassen. Im Fall von Anthropic konnten die Täter die agentenbasierten Fähigkeiten der KI für ihre nutzen, um ihre böswilligen Aktivitäten als kleine, harmlose Aufgaben zu tarnen, die Claude ausführen sollte. So machten sie die KI glauben, dass sie legitime defensive Tests zur Schwachstellen durchführte – letztendlich war die KI für die Durchführung von 80 % bis 90 % der Kampagne verantwortlich.
Künftige Phase
Die KI öffnet auch die Möglichkeit für neue Arten von Cyberkriminalität, die aufgrund ihrer Komplexität oder der erforderlichen Ressourcen bisher als undurchführbar galt, wie beispielsweise physische Überwachung mit digitaler Ausnutzung für sehr zielgerichtete Phishing-Kampagnen. Die Abkehr von manuell gesteuerten Operationen führt zu einer Entwicklung weg vom Modell „Cybercrime as a Service“ hin zu „Cybercrime as a Servant“, bei dem cyberkriminelle Operationen zunehmend von agentenbasierten KI-Systemen gesteuert werden.
Orchestratoren weisen Aufgaben zu und managen den Datenfluss zwischen Agenten, die für bestimmte Aufgaben zuständig sind. Der Orchestrator fungiert als „Gehirn“ der kriminellen Operation und erstellt Workflows, die die Agenten auf der Grundlage der vorgegebenen Ziele und verfügbaren Daten in einer optimalen Reihenfolge miteinander verknüpfen. Dadurch können sie sich schnell von Störungen erholen und in Echtzeit auf veränderte Umstände reagieren: Ihre Prioritäten, Rollen und Taktiken lassen sich spontan neu konfigurieren, und das führt zu adaptiven, persistenten und hoch skalierbaren Angriffsökosystemen, die herkömmliche Sicherheitskontrollen vor Herausforderungen stellen.
Der modulare Aufbau kann auch langwierige, mehrstufige Operationen erleichtern, da kriminelle Akteure in der Lage sind, komplexe Aufgaben unabhängig voneinander auszuführen und die Kontinuität der Angriffe aufrechtzuerhalten, selbst wenn Teile der Infrastruktur ausgeschaltet werden. Zusätzliche Angriffstechniken und -werkzeuge lassen sich ebenfalls leicht in die Architektur integrieren.
Neue Agenten können einfach in das System eingebunden werden, ohne dass umfangreiche Umgestaltungen erforderlich sind. Dies hat auch die Identifizierung und Ausnutzung von Schwachstellen in einem Zielsystem beschleunigt – in ähnlicher Weise wurde Claude im Rahmen des Angriffs missbraucht, um Schwachstellen in Zielsystemen zu identifizieren und zu testen, da Agenten riesige Datensätze analysieren, unbekannte Schwachstellen aufdecken und schnell maßgeschneiderte Exploits entwickeln und einsetzen können.
Geändertes Unternehmensrisiko
Die Integration von KI in bestehende kriminelle Geschäftsmodelle macht Operationen schneller, flexibler und widerstandsfähiger. Beispielsweise können Agenten Malware-Payloads dem Opfertyp anpassen, komplexe Exploit-Ketten automatisieren und riesige Mengen an Daten aus Sicherheitsvorlällen zur Monetarisierung analysieren – mit minimaler menschlicher Kontrolle. Darüber hinaus macht agentenbasierte KI massenhafte Angriffe wie Social-Engineering-Betrug rentabel. Mit zunehmender Reife des Ökosystems werden kriminelle Marktplätze für den Kauf von Agenten und Orchestratoren entstehen, die die Eintrittsbarrieren weiter senken und die Spezialisierung unter den Bedrohungsakteuren vorantreiben werden.
Neue Angriffstypen werden entstehen mit neuen Geschäftsmodellen, bei denen menschliche Akteure eher als Aufseher denn als direkte Teilnehmer fungieren.
Reagieren mit der Geschwindigkeit der KI
Um ihre Assets zu schützen, müssen Unternehmen in fortschrittliche, agentenbasierte KI-gestützte Sicherheitsplattformen und proaktive Angriffssimulationen investieren, die Aufklärung über neue Bedrohungen priorisieren. Um mit der Geschwindigkeit und Anpassungsfähigkeit der Angreifer Schritt zu halten, sollten folgende Maßnahmen ergriffen werden:
Agentische Verteidigung
Unternehmen müssen eigene automatisierte Verteidigungssysteme entwickeln: Dazu gehört der Einsatz von Orchestratoren und Agenten, die nicht nur die Reaktion auf Vorfälle und die Triage von Warnmeldungen übernehmen, sondern auch in der Lage sind, zu lernen und sich im Laufe der Zeit an neue Bedrohungen anzupassen.
Proaktive Simulation
Mit Hilfe der Digital-Twin-Technologie – virtuelle Nachbildungen der digitalen Umgebungen – können Unternehmen verschiedene Angriffsszenarien simulieren, Abwehrmaßnahmen bewerten und Schwachstellen aufdecken. Dieser proaktive Ansatz ermöglicht es, die gesamte Infrastruktur (einschließlich derjenigen, die mit agentenbasierter KI betrieben wird) zu modellieren und mögliche Angriffswege zu identifizieren. Dies unterstützt die kontinuierliche Prüfung und Verbesserung der Sicherheitsmaßnahmen.
Verbesserte Bedrohungsinformationen und -zuordnung
Die Entwicklung von Attributionsmethoden, die „vibe-codierten“ Kampagnen und False-Flag-Operationen entgegenwirken können, macht es notwendig, über das einfache Abgleichen von Taktiken, Techniken und Verfahren (TTPs) oder Indicators of Compromise (IoC) hinauszugehen. Strukturierte Bedrohungsinformationsmodelle wie das Diamond Model of Intrusion Analysis sollten zum Einsatz kommen. Um vibe-codierte Kampagnen zu erkennen, müssen Angriffe anhand der Absichten und Ziele der Angreifer und nicht nur anhand technischer Artefakte gruppiert werden. Kontextbezogene Erkennungsmodule und automatisierte Incident Response ergänzt die Verteidigung, um zunehmend fortschrittlichen KI-gesteuerten Bedrohungen entgegenzuwirken und echte Aktivitäten von Nachahmungen oder falsch zugeordneten Aktivitäten zu unterscheiden.
Förderung einer verantwortungsvollen Offenlegung
Durch die öffentliche Weitergabe von TTPs stellen Forscher möglicherweise unbeabsichtigt eine praktische Schritt-für-Schritt-Anleitung zur Verfügung, die selbst Personen mit begrenzten technischen Kenntnissen und Erfahrungen ausnutzen können. In Anbetracht dessen sollten Sicherheitsteams kontinuierlich Veröffentlichungspraktiken anwenden, die ein Gleichgewicht zwischen der Notwendigkeit öffentlicher Bedrohungsinformationen und dem potenziellen Missbrauch detaillierter Berichte durch LLMs herstellen.