Что означает OWASP Top 10 для LLM?

В рамках этого проекта OWASP выпустила несколько версий списка Top 10, ориентированных на ИИ:

• Редакция 0.5 (май 2023 г.)

• Редакция 1.1 (октябрь 2023 г.)

• Редакция 2025 (ноябрь 2024 г.)

Последняя редакция, OWASP Top 10 для LLM-приложений и генеративного ИИ, описывает наиболее важные риски, рекомендуемые меры по снижению рисков и примеры сценариев атак. Ниже приведен обзор топ-10 рисков за 2025 год:

Промпт-инъекция происходит, когда входные данные пользователя меняют поведение или вывод LLM непредусмотренным способом. Это может привести к нарушениям рекомендаций, генерации вредоносного контента, несанкционированному доступу или воздействию на критически важные решения. Такие методы, как генерация с поиском по данным (retrieval-augmented generation, RAG) и дообучение, направлены на улучшение качества вывода, но не полностью устраняют уязвимости для промпт-инъекций.

При дообучении предварительно обученная модель общего назначения проходит обучение на наборе данных для конкретной области для получения специализированных знаний.

Промпт-инъекции и джейлбрейк — это взаимосвязанные понятия:

• Промпт-инъекции манипулируют ответами посредством специально созданных входных данных.

• Джейлбрейк — это форма промпт-инъекции, при которой злоумышленники обходят протоколы безопасности.

Меры по ограничению системных промптов (инструкции, определяющие намерения приложения) могут помочь, но гораздо эффективнее будет полагаться на непрерывное обучение модели и обновленные механизмы безопасности.

Из LLM можно украсть конфиденциальные данные, поприетарные алгоритмы или другую чувствительную информацию. Информация в выходных данных может привести к несанкционированному доступу, несоблюдению конфиденциальности или нарушению прав интеллектуальной собственности. Пользователям не следует вводить конфиденциальные данные в LLM, так как они могут быть раскрыты.

Стратегии снижения рисков:

• Санитизация данных и исключение чувствительного контента из учебных датасетов.

• Предоставление четких условий использования и механизмов отказа от использования пользовательских данных.

• Добавление ограничений в системные промпты (хотя их можно обойти путем промпт-инъекций).

В цепочке поставок для LLM возникают риски, влияющие на обучающие данные, модели и платформы развертывания. Это может привести к искажению результатов, нарушениям или сбоям. В отличие от традиционного программного обеспечения, риски LLM распространяются на предварительно обученные модели и датасеты сторонних поставщиков.

Модели с открытым доступом и методы дообучения (например, на Hugging Face) повышают риски. LLM на устройствах расширяют поверхность атаки.

Отравление данных происходит на этапах предварительного обучения, дообучения и эмбеддинга с целью внедрить уязвимости или предубеждения. Отравленные данные могут повлиять на производительность, этичность и безопасность.

Потенциальные риски:

• Вредоносный контент во внешних источниках данных.

• Вредоносные программы, внедренные в модели с общим доступом или открытым исходным кодом.

• Бэкдоры, выступающие в качестве «спящих агентов», инициируемых определенными входными данными.

Если выходные данные LLM не проверены или не очищены до передачи в последующие системы, злоумышленники могут использовать такие уязвимости, как:

• межсайтовый скриптинг (XSS); 

• межсайтовая подделка запросов (CSRF);

• подделка запросов на стороне сервера (SSRF);

• эскалация привилегий и удаленное выполнение кода.

Этот риск возрастает, когда LLM получают чрезмерные привилегии или сторонние расширения не проверяют входные данные.

Системы на основе LLM часто обладают независимостью — возможностью динамического вызова функций или внутренних номеров. Слишком широкие функции, разрешения или автономность могут поставить под угрозу конфиденциальность, целостность и доступность подключенных систем.

Системные запросы определяют поведение модели, но могут содержать чувствительные данные, такие как учетные данные или строки подключения. Утечка может способствовать атакам, таким как обход ограничений или эскалация привилегий. Даже без полного раскрытия информации злоумышленники могут сделать выводы об ограничениях на основе паттернов взаимодействия.

В системах на основе RAG уязвимости при генерировании, хранении или извлечении векторов и эмбеддингов могут допускать внедрение вредоносного содержимого, манипуляции с выходными данными или несанкционированный доступ к данным.

LLM могут создавать ложный или вводящий в заблуждение контент (галлюцинации), который кажется достоверным, что может привести к ущербу для репутации или юридическим рискам. Причины:

• заполнение статистических пробелов без истинного понимания;

• предвзятость или неполные обучающие данные;

• чрезмерное доверие пользователей к непроверенным выходным данным.

Неконтролируемые запросы могут привести к отказу в обслуживании (DoS), финансовым потерям, краже модели или ухудшению обслуживания. Облачные среды особенно уязвимы из-за высоких требований к вычислениям.