Qu'est-ce que l'OWASP ? Qu’est-ce que le top 10 de l’OWASP ?

Dans le cadre de ce projet, OWASP a publié plusieurs versions de sa liste axée sur l’IA :

• Version 0.5 (mai 2023)

• Version 1.1 (octobre 2023)

• Version 2025 (novembre 2024)

La dernière version, OWASP Top 10 pour les applications LLM & IA générative, présente les risques les plus critiques, les mesures recommandées et des exemples de scénarios d’attaque. Voici un aperçu des 10 principaux risques pour 2025 :

L’injection de prompts se produit lorsque les entrées utilisateur modifient involontairement le comportement ou la sortie d’un LLM. Cela peut entraîner des violations de règles, la génération de contenu nuisible, un accès non autorisé ou influencer des décisions critiques. Les techniques comme la génération augmentée par récupération (RAG) et le fine-tuning améliorent la qualité des sorties mais n’éliminent pas complètement cette vulnérabilité.

Le fine-tuning consiste à entraîner un modèle généraliste pré-entraîné sur un jeu de données spécifique pour lui ajouter des connaissances spécialisées.

Injection de prompts et jailbreaking sont des concepts liés :

• Injection de prompts : manipulation des réponses via des entrées ciblées.

• Jailbreaking : forme d’injection de prompts permettant de contourner les protocoles de sécurité.

Des garde-fous dans les prompts système peuvent aider, mais un entraînement continu et des mécanismes de sécurité mis à jour sont plus efficaces.

Les LLM peuvent divulguer des données confidentielles, des algorithmes propriétaires ou d’autres informations sensibles. Les sorties peuvent entraîner un accès non autorisé, des violations de confidentialité ou des atteintes à la propriété intellectuelle. Les utilisateurs doivent éviter d’entrer des données sensibles, car elles pourraient être révélées ultérieurement.

Mesures d’atténuation :

• Nettoyer les données et exclure les informations sensibles des ensembles d’entraînement.

• Fournir des conditions d’utilisation claires et des mécanismes d’opt-out.

• Ajouter des restrictions dans les prompts système (bien qu’elles puissent être contournées).

La chaîne d’approvisionnement des LLM est exposée à des risques affectant les données d’entraînement, les modèles et les plateformes de déploiement. Ces risques peuvent entraîner des biais, des violations de sécurité ou des défaillances. Contrairement aux logiciels classiques, les risques LLM concernent aussi les modèles pré-entraînés tiers et les jeux de données.

Les modèles en accès libre et les méthodes de fine-tuning (ex. Hugging Face) augmentent l’exposition. Les LLM embarqués élargissent encore la surface d’attaque.

L’empoisonnement des données consiste à manipuler le pré-entraînement, le fine-tuning ou l’intégration pour introduire des vulnérabilités ou des biais. Cela peut nuire à la performance, à l’éthique et à la sécurité.

Risques :

• Contenu malveillant dans les sources externes

• Malware intégré dans des modèles partagés ou open source

• Backdoors agissant comme des « agents dormants » activés par des déclencheurs spécifiques

Lorsque les sorties des LLM ne sont pas validées ou nettoyées avant d’être transmises à des systèmes en aval, des attaques peuvent survenir :

• Cross-Site Scripting (XSS)

• Cross-Site Request Forgery (CSRF)

• Server-Side Request Forgery (SSRF)

• Escalade de privilèges et exécution de code à distance

Le risque augmente avec des privilèges excessifs ou des extensions tierces non sécurisées.

Les systèmes basés sur LLM disposent souvent d’une « agency » – la capacité d’invoquer des fonctions ou des extensions dynamiquement. Une fonctionnalité, des permissions ou une autonomie excessives peuvent compromettre la confidentialité, l’intégrité et la disponibilité.

Les prompts système orientent le comportement du modèle mais peuvent contenir des données sensibles comme des identifiants. Leur fuite permet des attaques telles que le contournement des garde-fous ou l’escalade de privilèges. Même sans divulgation complète, les attaquants peuvent déduire des restrictions via les interactions.

Dans les systèmes RAG, des failles dans la génération, le stockage ou la récupération des vecteurs et embeddings peuvent permettre l’injection de contenu malveillant, la manipulation des sorties ou un accès non autorisé.

Les LLM peuvent générer des contenus faux ou trompeurs (hallucinations) qui semblent crédibles, entraînant des dommages réputationnels ou des risques juridiques. Causes :

• Remplissage statistique sans compréhension réelle

• Biais ou données d’entraînement incomplètes

• Confiance excessive dans des sorties non vérifiées

Des requêtes incontrôlées peuvent provoquer des attaques par déni de service (DoS), des pertes financières, le vol de modèle ou une dégradation du service. Les environnements cloud sont particulièrement vulnérables en raison des fortes exigences de calcul.