La implementación de la IA introduce nuevos puntos vulnerables que no existían en los ambientes tradicionales de cómputo. Estos incluyen ciberataques iniciados por actores maliciosos y vulnerabilidades que surgen del comportamiento de los usuarios y de las plataformas.
Índice
Vulnerabilidades de seguridad de IA
El Proyecto Abierto de Seguridad en Aplicaciones Web (OWASP) identificó una serie de vulnerabilidades relacionadas con la inteligencia artificial (IA) construida sobre modelos de lenguaje de aprendizaje (LLMs) y GenAI. Estas incluyen lo siguiente:
- Inyección de instrucciones
- Manejo inseguro de salida
- Envenenamiento de datos de entrenamiento
- Denegación de servicio del modelo
- Vulnerabilidades en la cadena de suministro
- Divulgación de información sensible
- Diseño inseguro de complementos
- Agencia excesiva
- Dependencia excesiva
- Robo de modelo
Estas vulnerabilidades pueden resumirse y simplificarse en las siguientes categorías:
Riesgos en IA específicos a datos
Integridad del Sistema
Acceso
Vulnerabilidades que explotan debilidades de integridad
Divulgación de Información Sensible
Robo de Modelo
Complementos Inseguros
Manejo Inseguro de Salidas
Agencia Excesiva
Envenenamiento del Modelo
SBOM de la Cadena de Suministro
Inyección de Indicaciones
Dependencia Excesiva en la IA
Denegaciones de servicio
Envenenamiento del Modelo
Inyección de Indicaciones
Integración del Ecosistema
Plugins Inseguros
Manejo Inseguro de Salidas
Cadena de Suministro de Software
Agencia Excesiva
Dependencia Excesiva en IA
Al depender en gran medida de los datos disponibles y la entrada del usuario, la IA es cada vez más objetivo de actores malintencionados para violar defensas digitales y extraer información sensible. En una encuesta reciente de Gartner®, se revelaron los cinco riesgos emergentes más citados del primer trimestre de 2024. Los riesgos relacionados con la IA ocuparon los dos primeros lugares en forma de ataques maliciosos mejorados por IA y desinformación asistida por IA. Como señala Gartner, la mejora de la IA puede “facilitar el phishing y la ingeniería social, lo que permite una mejor intrusión, mayor credibilidad y ataques más dañinos.”
IA deshonesta
La IA deshonesta ocurre cuando la IA no está alineada con el objetivo del usuario. Este desalineamiento puede ser accidental, como un fallo en las medidas de protección adecuadas. También puede ser intencional, en cuyo caso los actores de amenazas pueden intentar subvertir el sistema de IA de un objetivo o su uso, o pueden intentar instalar modelos de IA maliciosamente alineados dentro de un entorno.
Automatización de fraudes
La automatización de fraudes es la creación de contenidos como texto, audio y/o video para explotar los procesos de negocio ya sea por medio de phishing, business email compromise (BEC) o deepfakes. La automatización de fraudes puede escalar fácilmente con IA.
Gobernanza de datos
Los sistemas de IA dependen de los datos. Por lo tanto, la información que se usa en los sistemas de IA (y los datos “vivos” con los que entran en contacto) debe de cumplir con normativas de privacidad y de uso legítimo, lo cual lleva a necesitar una gobernanza proactiva y efectiva de datos que ayude a minimizar el riesgo.
Riesgos de seguridad de LLMs (Modelos de Lenguaje de Gran tamaño)
Los LLMs enfrentan vulnerabilidades críticas, incluyendo la inyección de instrucciones que manipula el comportamiento del modelo, la divulgación de información sensible que expone datos confidenciales, y el manejo inadecuado de salidas que permite ataques a sistemas posteriores. Otros riesgos importantes incluyen vulnerabilidades en la cadena de suministro debido a dependencias de terceros, concesión excesiva de permisos innecesarios, envenenamiento de datos que compromete la integridad del modelo, y filtración de instrucciones del sistema que expone instrucciones confidenciales. Además, las debilidades en la incrustación de vectores, la generación de desinformación, y los ataques de consumo ilimitado amenazan la seguridad, confiabilidad y disponibilidad de las aplicaciones de LLM.
Riegos de Seguridad de IA Involucrando Prompts de los Usuarios
La inteligencia artificial generativa (GenAI) utiliza datos disponibles del pasado y del presente para asistir a los usuarios. Por lo tanto, para las herramientas que requieren indicaciones, es mejor ser consciente y proactivo sobre lo que se introduce en el campo de indicaciones. Algunas herramientas permiten a los usuarios optar por no participar en la recopilación de datos, como la opción de ChatGPT para desactivar el historial de chat. Dependiendo de la gobernanza de IA y las políticas de uso impuestas por el regulador de la industria en cuestión, medidas preventivas y/o comportamientos como estos pueden ser un requisito para mantener el cumplimiento.
Insertar información financiera, detalles confidenciales sobre software aún no lanzado, información personal identificable (PII) como direcciones personales y detalles de contacto, y/o otros datos sensibles significa que la información es accesible libremente por la aplicación de IA. Estos datos están en riesgo de ser manipulados, compartidos con otros en recomendaciones de la herramienta en respuesta a consultas similares, y/o robados por actores malintencionados si se violan las medidas de protección de la IA. Esto es particularmente un riesgo al usar herramientas de inteligencia artificial generativa para ayudar con la ideación o compilar rápidamente grandes cantidades de datos, especialmente si no se implementan medidas de cifrado y seguridad adecuadas.
Riesgos de Seguridad de ChatGPT
Como una forma de IA generativa que ofrece respuestas basadas en texto a las solicitudes de los usuarios, ChatGPT puede ser manipulado por actores malintencionados para ayudar a disfrazar y/o fortalecer sus intentos de phishing. Alternativamente, la plataforma en sí puede ser atacada para obtener acceso a—y potencialmente hacer un mal uso de—los datos de los usuarios. Esto puede incluir la redacción de correos electrónicos de phishing aprovechando muestras de escritura de la organización o individuo objetivo, así como corregir errores tipográficos, gramática y lenguaje para parecer más convincentes. También existe el riesgo de robo de datos de usuarios y/o violaciones a través de la inyección de comandos o el jailbreak.
También hay riesgos de seguridad derivados del uso que no involucran directamente a actores malintencionados. Por ejemplo, la información que ChatGPT recibe de ti puede ser utilizada para entrenar LLMs. También existe el riesgo de cifrado insuficiente de datos, como se demostró cuando la aplicación de ChatGPT para MacOS se lanzó inicialmente con los chats de los usuarios almacenados como texto sin formato.
Riesgos de seguridad de OpenAI
La API de OpenAI en sí misma tiene el potencial de ser un objetivo para los ciberdelincuentes. Aunque cumple con SOC 2 y se somete a pruebas de penetración regulares, su riesgo nunca se erradica por completo, ya que las amenazas cibernéticas están en constante evolución. Un artículo reciente de Soft Kraft explora los riesgos de seguridad de datos de OpenAI en detalle, revelando aquellos de particular interés para los usuarios empresariales:
- Los datos de conversación de ChatGPT podrían ser utilizados para propósitos de reentrenamiento del modelo
- Los datos enviados a través de la API podrían ser expuestos interna y externamente
- Puede ser un desafío asegurar el cumplimiento del Reglamento General de Protección de Datos (GDPR)
- El uso de subprocesadores de terceros complica la ubicación y el manejo de datos
Riesgos de seguridad de Microsoft Copilot AI
Con soporte para las aplicaciones de Microsoft 365, Microsoft Copilot AI está disponible para los usuarios. Además, a nivel de hardware, las últimas PC de la marca Copilot+ vienen con teclas físicas dedicadas de Copilot para fomentar una entrada de usuario aún más rápida. Estas medidas de acceso simplificado pueden introducir riesgos de seguridad si la información sensible se pone a disposición de Copilot, al igual que con otras herramientas de IA generativa. Si los permisos no se configuran correctamente, o si los documentos generados por IA no tienen habilitadas las configuraciones de privacidad adecuadas, también puede enfrentar filtraciones de datos confidenciales y/o violaciones. Lo mismo se aplica a la gestión de acceso de usuarios. Por último, los ataques a la plataforma en sí podrían permitir a los actores de amenazas modificar cómo accede y comparte sus datos.
¿Quién puede ayudarnos a gestionar nuestros riesgos de seguridad para la IA?
La evolución continua de la innovación en la IA requiere de seguridad proactiva y respaldada por 35 años de inteligencia líder de amenazas, 20 años de innovación en desarrollo de IA y protección inigualable contra vulnerabilidades: eso es Trend Vision One™ AI Security.
Artículos Relacionados