Quais são os riscos do OWASP Top 10 para LLMs?

Neste projeto, a OWASP lançou várias versões de sua lista Top 10 focada em IA:

• Versão 0.5 (maio de 2023)

• Versão 1.1 (outubro de 2023)

• Versão 2025 (novembro de 2024)

A versão mais recente, OWASP Top 10 para Aplicações LLM & IA Generativa, descreve os riscos mais críticos, mitigações recomendadas e exemplos de cenários de ataque. Abaixo está uma visão geral dos Top 10 Riscos para 2025:

Injeção de prompt ocorre quando inputs do usuário alteram involuntariamente o comportamento ou o output de um LLM. Isso pode levar a violações de diretrizes, geração de conteúdo prejudicial, acesso não autorizado ou influência sobre decisões críticas. Técnicas como retrieval-augmented generation (RAG) e fine-tuning visam melhorar a qualidade do output, mas não eliminam totalmente vulnerabilidades de injeção de prompt.

Fine-tuning refere-se ao treinamento de um modelo pré-treinado de uso geral em um conjunto de dados específico de domínio para adicionar conhecimento especializado.

Injeção de prompt e jailbreaking são conceitos relacionados:

• A injeção de prompt manipula respostas por meio de inputs elaborados.

• Jailbreaking é uma forma de injeção de prompt em que atacantes burlam protocolos de segurança.

Salvaguardas em system prompts (instruções que definem a intenção da aplicação) podem ajudar, mas treinamento contínuo do modelo e mecanismos de segurança atualizados são mais eficazes.

LLMs correm o risco de vazar dados confidenciais, algoritmos proprietários ou outras informações sensíveis. Outputs podem levar a acesso não autorizado, violações de privacidade ou infração de propriedade intelectual. Os usuários devem evitar inserir dados confidenciais em LLMs, pois eles podem ser expostos posteriormente.

Estratégias de mitigação incluem:

• Sanitização de dados e exclusão de conteúdo sensível dos conjuntos de treinamento

• Fornecimento de termos de uso claros e mecanismos de opt-out para dados do usuário.

• Adição de restrições em system prompts (embora possam ser burladas por injeção de prompt).

A cadeia de suprimentos de LLM enfrenta riscos que afetam dados de treinamento, modelos e plataformas de implantação. Isso pode resultar em outputs enviesados, violações ou falhas. Diferentemente do software tradicional, os riscos de LLM se estendem a modelos e conjuntos de dados pré-treinados de terceiros.

Modelos de acesso aberto e métodos de fine-tuning (por exemplo, no Hugging Face) aumentam a exposição. LLMs on-device ampliam ainda mais a Superfície de Ataque.

O envenenamento de dados manipula as etapas de pré-treinamento, fine-tuning ou embeddings para introduzir vulnerabilidades ou vieses. Isso pode degradar desempenho, ética e segurança.

Os riscos incluem:

• Conteúdo malicioso em fontes de dados externas.

• Malware [link interno] incorporado em modelos compartilhados ou de código aberto.

• Backdoors atuando como “agentes adormecidos”, acionados por inputs específicos.

Quando os outputs de LLM não são validados ou sanitizados antes de alcançar sistemas downstream, atacantes podem explorar vulnerabilidades como:

• Cross-Site Scripting (XSS) 

• Cross-Site Request Forgery (CSRF)

• Server-Side Request Forgery (SSRF)

• Escalonamento de privilégios e execução remota de código

Esse risco surge quando LLMs possuem privilégios excessivos ou quando extensões de terceiros não possuem validação de input.

Sistemas baseados em LLM frequentemente possuem agência a capacidade de invocar funções ou extensões dinamicamente. Funcionalidade excessiva, permissões ou autonomia podem comprometer confidencialidade, integridade e disponibilidade, dependendo dos sistemas conectados.

System prompts orientam o comportamento do modelo, mas podem conter dados sensíveis como credenciais ou strings de conexão. Vazamento pode permitir ataques como contornar guardrails ou escalonamento de privilégios. Mesmo sem divulgação completa, atacantes podem inferir guardrails por meio de padrões de interação.

Em sistemas baseados em RAG, vulnerabilidades na geração, armazenamento ou recuperação de vetores e embeddings podem permitir injeção de conteúdo malicioso, manipulação de output ou acesso não autorizado a dados.

LLMs podem gerar conteúdo falso ou enganoso alucinações que parecem confiáveis, causando danos reputacionais ou riscos legais. As causas incluem:

• Preenchimento estatístico de lacunas sem compreensão real

• Dados de treinamento enviesados ou incompletos

• Dependência excessiva de outputs não verificados pelos usuários

Requisições de inferência não controladas podem levar à negação de serviço (DoS), perda financeira, roubo de modelo ou degradação do serviço. Ambientes em nuvem são especialmente vulneráveis devido às altas demandas computacionais.