Das Open Worldwide Application Security Project (OWASP) ist eine gemeinnützige Organisation mit über 20 Jahren Erfahrung in der Förderung von Software-Sicherheit, Schulungen und Best Practices.
Inhalt
Was ist OWASP?
Die wichtigste Initiative von OWASP, die OWASP Top 10, ist eine regelmäßig aktualisierte Liste der kritischsten Sicherheitsrisiken für Webanwendungen.
Im Mai 2023 startete OWASP das Generative AI Security Project, um neue Risiken im Zusammenhang mit Large Language Models (LLMs) und generativer KI zu adressieren. Mit der schnellen Einführung dieser Technologien in Unternehmen wuchsen die Bedenken hinsichtlich Prompt Injection, Datenlecks und Governance-Risiken. Das Fehlen eines systematischen Sicherheitsrahmens für KI veranlasste OWASP, dieses Projekt ins Leben zu rufen, das Risiken klassifiziert und Gegenmaßnahmen vorschlägt.
Trend Micro unterstützt das OWASP Generative AI Security Project als Gold-Sponsor. Mit fast zwei Jahrzehnten Forschung und Produktentwicklung im Bereich KI-Technologien bleiben wir unserer Mission treu: „Eine Welt zu schaffen, in der digitale Informationen sicher ausgetauscht werden können“, indem wir KI-bezogene Sicherheitsrisiken identifizieren und mindern.
„Sicherheit ist kein Feature – sie ist das Fundament. OWASP erinnert uns daran, dass der Schutz von Anwendungen entscheidend für Vertrauen im digitalen Zeitalter ist.“
Quelle: https://www.trendmicro.com/
OWASP Top 10 für LLM-Anwendungen – 2025
Im Rahmen dieses Projekts hat OWASP mehrere Versionen seiner KI-fokussierten Top-10-Liste veröffentlicht:
Version 0.5 (Mai 2023)
Version 1.1 (Oktober 2023)
Version 2025 (November 2024)
Die neueste Version, OWASP Top 10 für LLM-Anwendungen & Generative AI, beschreibt die kritischsten Risiken, empfohlene Gegenmaßnahmen und Beispiel-Angriffsszenarien. Hier ein Überblick über die Top-10-Risiken für 2025:
Prompt Injection
Prompt Injection tritt auf, wenn Benutzereingaben unbeabsichtigt das Verhalten oder die Ausgabe eines LLM verändern. Dies kann zu Richtlinienverletzungen, schädlichen Inhalten, unbefugtem Zugriff oder Einfluss auf kritische Entscheidungen führen. Techniken wie Retrieval-Augmented Generation (RAG) und Fine-Tuning verbessern die Ausgabequalität, beseitigen jedoch die Schwachstelle nicht vollständig.
Fine-Tuning bedeutet, ein vortrainiertes Modell mit einem domänenspezifischen Datensatz weiter zu trainieren.
Prompt Injection und Jailbreaking sind verwandte Konzepte:
Prompt Injection manipuliert Antworten durch gezielte Eingaben.
Jailbreaking ist eine Form von Prompt Injection, bei der Sicherheitsprotokolle umgangen werden.
Schutzmaßnahmen in System-Prompts können helfen, aber kontinuierliches Training und aktualisierte Sicherheitsmechanismen sind effektiver.
Sensitive Information Disclosure
LLMs können vertrauliche Daten, proprietäre Algorithmen oder andere sensible Informationen preisgeben. Ausgaben können zu unbefugtem Zugriff, Datenschutzverletzungen oder Verletzung geistigen Eigentums führen. Benutzer sollten keine vertraulichen Daten eingeben, da diese später offengelegt werden könnten.
Gegenmaßnahmen:
Daten bereinigen und sensible Inhalte aus Trainingsdaten ausschließen.
Klare Nutzungsbedingungen und Opt-out-Mechanismen bereitstellen.
Einschränkungen in System-Prompts hinzufügen (können jedoch umgangen werden).
Supply Chain Vulnerabilities
Die LLM-Lieferkette ist anfällig für Risiken in Trainingsdaten, Modellen und Plattformen. Diese können zu verzerrten Ausgaben, Sicherheitsverletzungen oder Systemausfällen führen. Im Gegensatz zu klassischer Software betreffen LLM-Risiken auch Drittanbieter-Modelle und Datensätze.
Open-Access-Modelle und Fine-Tuning-Methoden (z. B. auf Hugging Face) erhöhen die Angriffsfläche. On-Device-LLMs verstärken das Risiko zusätzlich.
Training Data Poisoning
Datenvergiftung manipuliert Vortraining, Fine-Tuning oder Embedding, um Schwachstellen oder Verzerrungen einzuschleusen. Dies kann Leistung, Ethik und Sicherheit beeinträchtigen.
Risiken:
Schadinhalt in externen Datenquellen
Malware in geteilten oder Open-Source-Modellen
Backdoors als „Schläferagenten“, die durch bestimmte Trigger aktiviert werden
Insecure Output Handling
Wenn LLM-Ausgaben nicht validiert oder bereinigt werden, bevor sie an nachgelagerte Systeme weitergegeben werden, können Angriffe wie:
Cross-Site Request Forgery (CSRF)
Server-Side Request Forgery (SSRF)
Privilegieneskalation und Remote Code Execution erfolgen.
Das Risiko steigt bei übermäßigen Berechtigungen oder unsicheren Drittanbieter-Erweiterungen.
Excessive Agency
LLM-Systeme haben oft „Agency“ – die Fähigkeit, Funktionen oder Erweiterungen dynamisch aufzurufen. Übermäßige Funktionalität, Berechtigungen oder Autonomie können Vertraulichkeit, Integrität und Verfügbarkeit gefährden.
System Prompt Leakage
System-Prompts steuern das Modellverhalten, können aber sensible Daten wie Zugangsdaten enthalten. Leaks ermöglichen Angriffe wie Umgehung von Schutzmechanismen oder Privilegieneskalation. Selbst ohne vollständige Offenlegung können Angreifer Einschränkungen durch Interaktionen erkennen.
Insecure Plugin Design
In RAG-Systemen können Schwachstellen bei der Erstellung, Speicherung oder Abfrage von Vektoren und Embeddings zu Schadcode-Injektion, Manipulation von Ausgaben oder unbefugtem Zugriff führen.
Overreliance
LLMs können falsche oder irreführende Inhalte (Halluzinationen) erzeugen, die glaubwürdig wirken und zu Reputationsschäden oder rechtlichen Risiken führen. Ursachen:
Statistische Lückenfüllung ohne echtes Verständnis
Verzerrte oder unvollständige Trainingsdaten
Übermäßiges Vertrauen in ungeprüfte Ausgaben
Model Theft
Unkontrollierte Anfragen können zu Denial-of-Service (DoS), finanziellen Verlusten, Modell-Diebstahl oder Leistungsabfall führen. Cloud-Umgebungen sind besonders anfällig aufgrund hoher Rechenlast.
Wie können Unternehmen LLMs absichern?
Die Absicherung von LLMs ist entscheidend, da sie zunehmend in Unternehmensprozesse integriert werden. Unternehmen sollten Risiken proaktiv durch Governance, Monitoring und technische Schutzmaßnahmen adressieren.
„Die Absicherung von Large Language Models ist keine Option – sie ist ein entscheidender Schritt, um sicherzustellen, dass Innovation nicht auf Kosten von Integrität und Datenschutz erfolgt.“
Quelle: https://owasp.org/
Wichtige Schritte:
Starke Zugriffskontrollen implementieren
Eingaben validieren und bereinigen
Ausgaben auf sensible Daten überwachen
Rate-Limiting und Missbrauchserkennung anwenden
Governance und Logging etablieren
Modelle regelmäßig aktualisieren und patchen
Mitarbeiter schulen
LLM-Sicherheit mit Trend Micro stärken
Die OWASP Top 10 für LLMs warnen vor Risiken wie Prompt Injection, Datenlecks und unsicheren Plugins. Trend Vision One™ bietet:
AI Application Security – Blockiert schädliche Prompts und Plugin-Exploits
Zero Trust Access – Erzwingt strikte Identitäts- und Berechtigungsprüfungen
AI Security Posture Management – Erkennt Fehlkonfigurationen und Schwachstellen
Threat Intelligence – Identifiziert neue KI-Angriffe
Zentrale Governance – Überwacht Nutzung und setzt Richtlinien durch
Mit Trend Vision One™ können Unternehmen LLMs sicher und konform einsetzen.
Häufig gestellte Fragen (FAQs)
Was ist OWASP in der Cybersicherheit?
OWASP ist ein Open-Source-Projekt, das Ressourcen, Tools und Richtlinien zur Verbesserung der Webanwendungssicherheit weltweit bereitstellt.
Was ist OWASP Top 10?
OWASP Top 10 ist eine Liste der kritischsten Sicherheitsrisiken für Webanwendungen, regelmäßig für Entwickler aktualisiert.
Wie oft wird OWASP Top 10 aktualisiert?
OWASP Top 10 wird normalerweise alle drei Jahre aktualisiert, um neue Bedrohungen und Sicherheitspraktiken widerzuspiegeln.
Wie verwendet man OWASP?
Verwenden Sie OWASP, indem Sie Richtlinien, Tools und Best Practices implementieren, um Webanwendungsschwachstellen zu verhindern und zu mindern.