L’Open Worldwide Application Security Project (OWASP) è un’organizzazione no-profit con oltre 20 anni di esperienza nella promozione della sicurezza del software, della formazione e delle best practice.
Sommario
L’iniziativa principale di OWASP, OWASP Top 10, è una lista aggiornata regolarmente dei rischi di sicurezza più critici per le applicazioni web.
Nel maggio 2023, OWASP ha lanciato il Generative AI Security Project per affrontare i rischi emergenti legati ai Large Language Models (LLM) e all’IA generativa. Con l’adozione rapida di queste tecnologie da parte delle aziende, sono aumentate le preoccupazioni su prompt injection, fughe di dati e rischi di governance. L’assenza di un quadro di sicurezza sistematico per l’IA ha spinto OWASP a creare questo progetto, che classifica i rischi e propone strategie di mitigazione.
Trend Micro sostiene con orgoglio il progetto OWASP Generative AI Security come Gold Sponsor. Con quasi due decenni di ricerca e sviluppo di prodotti nel campo dell’IA, rimaniamo fedeli alla nostra missione: «creare un mondo in cui le informazioni digitali possano essere scambiate in modo sicuro», identificando e riducendo i rischi di sicurezza legati all’IA.
«La sicurezza non è una funzionalità, è la base. OWASP ci ricorda che proteggere le applicazioni è fondamentale per la fiducia nell’era digitale.»
Fonte: https://www.trendmicro.com/
Nell’ambito di questo progetto, OWASP ha pubblicato diverse versioni della sua lista focalizzata sull’IA:
Versione 0.5 (maggio 2023)
Versione 1.1 (ottobre 2023)
Versione 2025 (novembre 2024)
L’ultima versione, OWASP Top 10 per applicazioni LLM e IA generativa, descrive i rischi più critici, le contromisure consigliate e scenari di attacco. Ecco una panoramica dei 10 principali rischi per il 2025:
Il prompt injection si verifica quando gli input dell’utente modificano involontariamente il comportamento o l’output di un LLM. Questo può portare a violazioni delle linee guida, generazione di contenuti dannosi, accesso non autorizzato o influenza su decisioni critiche. Tecniche come la Retrieval-Augmented Generation (RAG) e il fine-tuning migliorano la qualità delle risposte ma non eliminano completamente la vulnerabilità.
Il fine-tuning consiste nell’addestrare un modello pre-addestrato su un dataset specifico per aggiungere conoscenze di dominio.
Prompt injection e jailbreaking sono concetti correlati:
Prompt injection: manipolazione delle risposte tramite input mirati.
Jailbreaking: forma di prompt injection che aggira i protocolli di sicurezza.
Le protezioni nei prompt di sistema possono aiutare, ma l’addestramento continuo e l’aggiornamento dei meccanismi di sicurezza sono più efficaci.
I LLM possono divulgare dati riservati, algoritmi proprietari o altre informazioni sensibili. Le uscite possono causare accessi non autorizzati, violazioni della privacy o infrazioni di proprietà intellettuale. Gli utenti devono evitare di inserire dati riservati, poiché potrebbero essere esposti successivamente.
Contromisure:
Sanificare i dati ed escludere contenuti sensibili dai set di addestramento.
Fornire termini d’uso chiari e meccanismi di opt-out.
Aggiungere restrizioni nei prompt di sistema (anche se possono essere aggirate).
La supply chain dei LLM è esposta a rischi che riguardano dati di addestramento, modelli e piattaforme di distribuzione. Questi rischi possono causare bias, violazioni di sicurezza o malfunzionamenti. A differenza del software tradizionale, i rischi dei LLM si estendono anche a modelli pre-addestrati di terze parti e dataset.
Modelli open-access e metodi di fine-tuning (es. Hugging Face) aumentano l’esposizione. I LLM on-device ampliano ulteriormente la superficie di attacco.
L’avvelenamento dei dati manipola il pre-addestramento, il fine-tuning o l’embedding per introdurre vulnerabilità o bias. Questo può compromettere prestazioni, etica e sicurezza.
Rischi:
Contenuti malevoli nelle fonti esterne
Malware incorporato in modelli condivisi o open source
Backdoor che agiscono come «agenti dormienti» attivati da trigger specifici
Quando gli output dei LLM non vengono validati o sanificati prima di essere inviati a sistemi downstream, possono verificarsi attacchi come:
Cross-Site Request Forgery (CSRF)
Server-Side Request Forgery (SSRF)
Escalation di privilegi ed esecuzione di codice remoto
Il rischio aumenta con privilegi eccessivi o estensioni di terze parti non sicure.
I sistemi basati su LLM hanno spesso una certa «agency», cioè la capacità di invocare funzioni o estensioni dinamicamente. Funzionalità, permessi o autonomia eccessivi possono compromettere riservatezza, integrità e disponibilità.
I prompt di sistema guidano il comportamento del modello ma possono contenere dati sensibili come credenziali. La loro fuga consente attacchi come l’aggiramento dei controlli o l’escalation di privilegi. Anche senza divulgazione completa, gli aggressori possono dedurre restrizioni tramite interazioni.
Nei sistemi RAG, vulnerabilità nella generazione, archiviazione o recupero di vettori ed embedding possono consentire iniezione di contenuti malevoli, manipolazione dell’output o accesso non autorizzato.
I LLM possono generare contenuti falsi o fuorvianti (allucinazioni) che sembrano credibili, causando danni reputazionali o rischi legali. Cause:
Completamento statistico senza comprensione reale
Bias o dati di addestramento incompleti
Fiducia eccessiva in output non verificati
Richieste incontrollate possono causare attacchi DoS, perdite finanziarie, furto del modello o degrado del servizio. Gli ambienti cloud sono particolarmente vulnerabili a causa delle elevate esigenze computazionali.
Proteggere i LLM è fondamentale poiché diventano parte integrante dei flussi di lavoro aziendali. Le organizzazioni devono affrontare i rischi in modo proattivo con governance, monitoraggio e misure tecniche.
«Proteggere i Large Language Models non è facoltativo: è un passo fondamentale per garantire che l’innovazione non avvenga a scapito dell’integrità e della privacy.»
Fonte: https://owasp.org/
Passaggi chiave:
Implementare controlli di accesso rigorosi
Validare e sanificare gli input
Monitorare gli output per dati sensibili
Applicare rate limiting e rilevamento degli abusi
Stabilire governance e logging
Aggiornare e correggere regolarmente i modelli
Formare il personale sulle pratiche sicure
Gli OWASP Top 10 per LLM avvertono di rischi come prompt injection, fughe di dati e plugin non sicuri. Trend Vision One™ offre:
AI Application Security – Blocca prompt malevoli e exploit dei plugin
Zero Trust Access – Applica controlli rigorosi di identità e autorizzazioni
AI Security Posture Management – Rileva configurazioni errate e vulnerabilità
Threat Intelligence – Identifica attacchi emergenti legati all’IA
Governance centralizzata – Monitora l’uso e applica le policy
Con Trend Vision One™, le aziende possono distribuire LLM in modo sicuro e conforme.
OWASP è un progetto open-source che fornisce risorse, strumenti e linee guida per migliorare la sicurezza delle applicazioni web.
OWASP Top 10 è un elenco dei rischi di sicurezza più critici per applicazioni web, aggiornato regolarmente.
OWASP Top 10 viene aggiornato ogni tre anni per riflettere nuove minacce e pratiche di sicurezza emergenti.
Utilizza OWASP implementando linee guida, strumenti e best practice per prevenire e mitigare vulnerabilità nelle applicazioni web.