El Open Worldwide Application Security Project (OWASP) es una organización sin ánimo de lucro con más de 20 años de experiencia en la promoción de la educación en seguridad de software y las mejores prácticas.
Índice
¿Qué es OWASP?
La iniciativa más destacada de OWASP, OWASP Top 10, es una lista actualizada regularmente con los riesgos de seguridad más críticos para aplicaciones web.
En mayo de 2023, OWASP lanzó el Generative AI Security Project para abordar los riesgos emergentes asociados con los modelos de lenguaje (LLM) y la IA generativa. A medida que las organizaciones adoptan rápidamente estas tecnologías, han aumentado las preocupaciones sobre la inyección de prompts, las fugas de datos y los riesgos de gobernanza. La ausencia de un marco sistemático de seguridad para IA llevó a OWASP a crear este proyecto, que clasifica riesgos y propone estrategias de mitigación.
Trend Micro apoya con orgullo el proyecto OWASP Generative AI Security como patrocinador Gold. Con casi dos décadas de investigación y desarrollo en tecnologías de IA, seguimos comprometidos con nuestra misión de “crear un mundo donde la información digital pueda intercambiarse de forma segura”, identificando y mitigando riesgos relacionados con la IA.
«La seguridad no es una característica, es la base. OWASP nos recuerda que proteger las aplicaciones es esencial para la confianza en la era digital.»
Fuente: https://www.trendmicro.com/
OWASP Top 10 para aplicaciones LLM – 2025
Dentro de este proyecto, OWASP ha publicado varias versiones de su lista centrada en IA:
Versión 0.5 (mayo 2023)
Versión 1.1 (octubre 2023)
Versión 2025 (noviembre 2024)
La última versión, OWASP Top 10 para aplicaciones LLM y IA generativa, describe los riesgos más críticos, las mitigaciones recomendadas y ejemplos de escenarios de ataque. A continuación, un resumen de los 10 principales riesgos para 2025:
Inyección de prompts
La inyección de prompts ocurre cuando las entradas del usuario alteran de forma no intencionada el comportamiento o la salida de un LLM. Esto puede provocar violaciones de políticas, generación de contenido dañino, acceso no autorizado o influencia en decisiones críticas. Técnicas como la generación aumentada por recuperación (RAG) y el fine-tuning mejoran la calidad de salida, pero no eliminan completamente esta vulnerabilidad.
Fine-tuning significa entrenar un modelo preentrenado con un conjunto de datos específico para añadir conocimiento especializado.
Inyección de prompts y jailbreaking son conceptos relacionados:
Inyección de prompts: manipulación de respuestas mediante entradas diseñadas.
Jailbreaking: forma de inyección que permite ignorar protocolos de seguridad.
Los mecanismos de protección en los prompts del sistema pueden ayudar, pero el entrenamiento continuo y la actualización de medidas de seguridad son más eficaces.
Divulgación de información sensible
Los LLM pueden filtrar datos confidenciales, algoritmos propietarios u otra información sensible. Las salidas pueden dar lugar a accesos no autorizados, violaciones de privacidad o infracciones de propiedad intelectual. Los usuarios deben evitar introducir datos confidenciales, ya que podrían revelarse posteriormente.
Medidas de mitigación:
Sanitizar datos y excluir información sensible del entrenamiento.
Proporcionar términos de uso claros y mecanismos de exclusión voluntaria.
Añadir restricciones en los prompts del sistema (aunque pueden ser eludidas).
Vulnerabilidades en la cadena de suministro
La cadena de suministro de LLM está expuesta a riesgos que afectan datos de entrenamiento, modelos y plataformas de despliegue. Estos riesgos pueden causar sesgos, brechas de seguridad o fallos del sistema. A diferencia del software tradicional, los riesgos de LLM también incluyen modelos preentrenados de terceros y conjuntos de datos.
Los modelos de acceso abierto y los métodos de fine-tuning (por ejemplo, en Hugging Face) aumentan la exposición. Los LLM en dispositivos amplían aún más la superficie de ataque.
Envenenamiento de datos de entrenamiento
El envenenamiento de datos manipula el preentrenamiento, el fine-tuning o el embedding para introducir vulnerabilidades o sesgos. Esto puede afectar el rendimiento, la ética y la seguridad.
Riesgos:
Contenido malicioso en fuentes externas
Malware incrustado en modelos compartidos u open source
Puertas traseras que actúan como “agentes durmientes” activados por entradas específicas
Gestión insegura de salidas
Cuando las salidas de LLM no se validan ni sanitizan antes de enviarse a sistemas posteriores, pueden producirse ataques como:
Cross-Site Request Forgery (CSRF)
Server-Side Request Forgery (SSRF)
Escalada de privilegios y ejecución remota de código
El riesgo aumenta con privilegios excesivos o extensiones de terceros no seguras.
Agencia excesiva
Los sistemas basados en LLM suelen tener “agencia”, es decir, la capacidad de invocar funciones o extensiones dinámicamente. Funcionalidad, permisos o autonomía excesivos pueden comprometer la confidencialidad, integridad y disponibilidad.
Fuga de prompts del sistema
Los prompts del sistema guían el comportamiento del modelo, pero pueden contener datos sensibles como credenciales. Su filtración permite ataques como eludir controles o escalar privilegios. Incluso sin divulgación completa, los atacantes pueden deducir restricciones mediante interacciones.
Diseño inseguro de plugins
En sistemas RAG, vulnerabilidades en la generación, almacenamiento o recuperación de vectores y embeddings pueden permitir inyección de contenido malicioso, manipulación de salidas o acceso no autorizado.
Confianza excesiva
Los LLM pueden generar contenido falso o engañoso (alucinaciones) que parece creíble, causando daños reputacionales o riesgos legales. Causas:
Relleno estadístico sin comprensión real
Sesgos o datos incompletos en el entrenamiento
Confianza excesiva en salidas no verificadas
Robo del modelo
Solicitudes incontroladas pueden provocar ataques DoS, pérdidas financieras, robo del modelo o degradación del servicio. Los entornos en la nube son especialmente vulnerables por la alta demanda computacional.
¿Cómo pueden las organizaciones proteger los LLM?
Proteger los LLM es esencial ya que se integran cada vez más en los flujos de trabajo empresariales. Las organizaciones deben abordar los riesgos de forma proactiva mediante gobernanza, monitoreo y medidas técnicas.
«Proteger los modelos de lenguaje grande no es opcional; es un paso crítico para garantizar que la innovación no se produzca a costa de la integridad y la privacidad.»
Fuente: https://owasp.org/
Pasos clave:
Implementar controles de acceso estrictos
Validar y sanitizar entradas
Supervisar salidas para detectar datos sensibles
Aplicar limitación de solicitudes y detección de abusos
Establecer gobernanza y registro de interacciones
Actualizar y parchear modelos regularmente
Capacitar al personal en prácticas seguras
Fortalecer la seguridad de LLM con Trend Micro
Los OWASP Top 10 para LLM advierten sobre riesgos como inyección de prompts, fugas de datos y plugins inseguros. Trend Vision One™ ofrece:
AI Application Security – Bloquea prompts maliciosos y exploits de plugins
Zero Trust Access – Aplica controles estrictos de identidad y permisos
AI Security Posture Management – Detecta configuraciones incorrectas y vulnerabilidades
Threat Intelligence – Identifica ataques emergentes relacionados con IA
Gobernanza centralizada – Supervisa el uso y aplica políticas
Con Trend Vision One™, las empresas pueden implementar LLM de forma segura y conforme.
Preguntas frecuentes (FAQ)
¿Qué es OWASP en ciberseguridad?
OWASP es un proyecto de código abierto que ofrece recursos, herramientas y guías para mejorar la seguridad web globalmente.
¿Qué es OWASP Top 10?
OWASP Top 10 es una lista de los riesgos más críticos en aplicaciones web, actualizada regularmente para desarrolladores.
¿Con qué frecuencia se actualiza OWASP Top 10?
OWASP Top 10 se actualiza normalmente cada tres años, reflejando nuevas amenazas y prácticas de seguridad emergentes.
¿Cómo usar OWASP?
Usa OWASP aplicando sus guías, herramientas y mejores prácticas para identificar, prevenir y mitigar vulnerabilidades en aplicaciones web.