Cyberbedrohungen
OWASP: Top 10 KI-Sicherheitsrisiken
Die erste OWASP Top 10-Liste der KI-Risiken sowohl zeitgemäß als auch wichtig, vor allem weil die KI-Technologie sich so schnell verbreitet hat. Wie sehen die spezifischen Risiken aus und wie können Unternehmen damit umgehen?
Save to Folio
Seit mehr als 20 Jahren stellt die Open Worldwide Application Security Project (OWASP) Top 10-Liste der Risiken eine wichtige Referenz dar, wenn es darum geht, mehr Sicherheit für Software zu erzielen. Selbstverständlich weckte die in diesem Frühjahr veröffentlichte neue OWASP Liste zu KI-Schwachstellen in großen Sprachmodellen bei Entwicklern und Cybersicherheitsexperten großes Interesse.
Diese neue Liste von OWASP ist ein weiterer Beweis dafür, wie schnell sich KI-Chatbots im Mainstream durchgesetzt haben. In einer Umfrage im Februar dieses Jahres gab fast die Hälfte (48%) der Teilnehmer an, bereits Mitarbeiter durch ChatGPT ersetzt zu haben - nur drei Monate nach der öffentlichen Einführung des KI-Chatbots. Da viele Beobachter sich darüber besorgt zeigen, dass die Einführung von KI überstürzt erfolgt, ohne die damit verbundenen Risiken zu verstehen, ist die OWASP Top 10-Liste der KI-Risiken sowohl zeitgemäß als auch wichtig.
Schwachstellen der Large Language Model (LLM) auf einen Blick
OWASP hat bislang zwei Entwurfsversionen der KI-Schwachstellenliste veröffentlicht: eine im Mai und eine im Juli mit überarbeiteten Klassifikationen und Definitionen, Beispielen, Szenarien und Links zu zusätzlichen Referenzen. Aktuell ist es Version 0.5, und eine offizielle Version 1 ist anscheinend in Arbeit.
Wir stellten fest, dass die von OWASP identifizierten Schwachstellen im Wesentlichen in drei Kategorien fallen:
- Zugriffsrisiken im Zusammenhang mit dem Missbrauch von Privilegien und nicht autorisierten Aktionen.
- Datenrisiken wie Datenmanipulation oder Verlust von Diensten.
- Reputations- und Geschäftsrisiken als Folge von schlechten KI-Ergebnissen oder -Aktionen.
1. Zugriffsrisiken
Vier der zehn Schwachstellen in der OWASP-Liste sind zugangsbezogen und haben mit dem Missbrauch von Privilegien zu tun: unsichere Plugins, unsicheres Output Handling, Berechtigungsprobleme und exzessive Handlungsfreiheit.
Laut OWASP kann jedes LLM, das unsichere Plugins verwendet, um „Freiformtext“-Eingaben zu empfangen, bösartigen Anfragen ausgesetzt sein. Dies kann zu unerwünschten Verhaltensweisen oder zur Ausführung von nicht autorisiertem Remote Code führen. Andererseits sind Plugins oder Anwendungen, die LLMs unsicher verarbeiten - ohne sie zu evaluieren - anfällig für Cross-Site- und Server-seitige gefälschte Requests, unautorisierte Berechtigungserweiterungen, Hijacking und mehr sein.
Wenn Berechtigungen zwischen Plugins nicht nachverfolgt werden, kann es zu Problemen mit den Berechtigungen kommen, die den Weg für indirekte Eingabeaufforderungen oder die böswillige Nutzung von Plugins freimachen.
Und schließlich, da KI-Chatbots „Akteure“ sind, die Entscheidungen treffen und umsetzen können, kommt es darauf an, wie viel freie Hand (d. h. Handlungsspielraum) ihnen gegeben wird. OWASP erklärt: „Wenn LLMs mit anderen Systemen zusammenarbeiten, kann eine uneingeschränkte Handlungsfreiheit zu unerwünschten Vorgängen und Aktionen führen.“ Beispiele hierfür sind persönliche Mail-Lese-Assistenten, die zur Verbreitung von Spam missbraucht werden, oder KI-Chatbots im Kundenservice, die dahingehend manipuliert werden, unverdiente Rückerstattungen auszustellen.
In all diesen Fällen wird das LLM zu einem Instrument, mit dem böswillige Akteure in Systeme eindringen können.
2. Datenrisiken
Manipulierte Trainingsdaten, Supply Chain-Schwachstellen, Prompt Injection-Schwachstellen und Denials-of-Service gehören alle zu datenbezogenen KI-Risiken.
Daten können absichtlich von böswilligen Akteuren, die einem Unternehmen schaden wollen, manipuliert werden. Sie können aber auch versehentlich verfälscht werden, wenn ein KI-System aus unzuverlässigen oder ungeprüften Quellen lernt. Beide Arten von Manipulationen kommen in einer aktiven KI-Chatbot-Anwendung vor oder entstehen in der LLM-Lieferkette, in der das Vertrauen in vortrainierte Modelle, Crowdsourcing-Daten und unsichere Plugin-Erweiterungen zu verfälschten Datenausgaben, Sicherheitsverletzungen oder Systemausfällen führen kann.
Bei Prompt Injections können böswillige Eingaben dazu führen, dass ein LLM KI-Chatbot Daten preisgibt, die eigentlich vertraulich behandelt werden sollten, oder andere Aktionen ausführt, die zur Datenkompromittierung führen.
KI-Denial-of-Service-Angriffe ähneln den klassischen DoS-Angriffen. Sie können darauf abzielen, ein LLM zu überfordern und den Nutzern den Zugang zu Daten und Anwendungen zu verwehren oder - da viele KI-Chatbots auf eine kostenpflichtige IT-Infrastruktur angewiesen sind - das System dazu zu zwingen, übermäßig viele Ressourcen zu verbrauchen und massive Kosten zu verursachen.
3. Reputations- und Geschäftsrisiken
Die letzte Kategorie der OWASP-Schwachstellen schließlich hat bereits heute weltweit Konsequenzen: das übermäßige Vertrauen in KI. Es gibt viele Geschichten über LLMs, die falsche oder unangemessene Ausgaben erzeugen, von gefälschten Zitaten und rechtlichen Präzedenzfällen bis hin zu rassistischer und sexistischer Sprache.
OWASP weist darauf hin, dass die Abhängigkeit von KI-Chatbots ohne angemessene Aufsicht Unternehmen anfällig für die Veröffentlichung von Fehlinformationen oder beleidigenden Inhalten machen kann, die zur Rufschädigung oder sogar zu rechtlichen Schritten führen.
Welche Gegenmaßnahmen helfen
Wir sind der Ansicht, dass der Schutz vor KI-Zugriffsrisiken eine Zero Trust-Strategie erfordert mit einer klaren Trennung von Systemen (Sandboxing). Auch wenn generative KI in der Lage ist, Zero-Trust-Schutzmaßnahmen anzugehen, weil sie vertrauenswürdige Entitäten imitieren kann, bietet eine Zero-Trust-Haltung dennoch Kontrollmechanismen, die es einfacher machen, unerwünschte Aktivitäten zu identifizieren und einzudämmen.
OWASP rät außerdem, LLMs keiner „Selbstkontrolle“ zu überlassen, und fordert die Einbettung von Kontrollmechanismen in Anwendungsprogrammierschnittstellen (APIs). Sandboxing ist ebenfalls eine Schlüsselfunktion, um die Vertraulichkeit und Integrität von Daten zu schützen: Vorhalten vertraulicher Informationen in völliger Trennung von gemeinsam nutzbaren Daten und deren Unzugänglichkeit für KI-Chatbots und andere öffentlich zugängliche Systeme.
Eine angemessene Trennung von Daten verhindert, dass LLMs private und persönlich identifizierbare Informationen in öffentlichen Output einbeziehen, aber auch dass sie öffentlich aufgefordert werden, mit sicheren Anwendungen wie Zahlungssystemen auf unangemessene Weise zu interagieren.
Die einfachsten Maßnahmen zum Schutz des guten Ansehens bestehen darin, sich nicht ausschließlich auf KI-generierte Inhalte oder Code zu verlassen und niemals KI-Ergebnisse zu veröffentlichen oder zu verwenden, ohne vorher zu überprüfen, ob sie wahr, genau und zuverlässig sind.
Viele dieser Abwehrmaßnahmen können - und sollten - in Unternehmensrichtlinien eingebettet werden. Sobald eine angemessene Policy-Grundlage vorhanden ist, können Sicherheitstechnologien wie Endpoint Detection and Response (EDR), Extended Detection and Response (XDR) und Security Information and Event Management (SIEM) zur Durchsetzung und Überwachung potenziell schädlicher Aktivitäten eingesetzt werden.
Nächste Schritte
Mittlerweile ist jedem klar, dass KI bestehen bleiben wird, sodass die Kenntnis der damit verbundenen Risiken und erforderlichen Schritte, um diese zu minimieren, von kritischer Bedeutung ist.
Die Festlegung der richtigen Richtlinien zur Verwaltung der KI-Nutzung und die Umsetzung dieser Richtlinien mit Hilfe von Cybersicherheitslösungen ist ein guter erster Schritt. Ebenso wichtig ist es, informiert zu bleiben: die Top-10-Liste der KI-Risiken von OWASP sollte zu einer jährlichen Pflichtlektüre werden, so wie es die ursprüngliche Liste zur Anwendungssicherheit seit 2003 ist.