С какими рисками связано применение ИИ?

Некоммерческая организация OWASP (Open Web Application Security Project) выявила ряд уязвимостей ИИ, построенного на больших языковых моделях (LLM). К ним относятся:

• промпт-инъекции;
• небезопасная обработка выходных данных;
• отравление обучающих данных;
• отказ в обслуживании;
• уязвимости в цепочке поставок;
• раскрытие конфиденциальной информации;
• небезопасный дизайн плагинов;
• чрезмерная самостоятельность;
• излишнее доверие к модели;
• кража модели.

ИИ чрезвычайно зависим от доступной ему информации и от данных, которые вводят пользователи, поэтому ИИ все чаще становится мишенью для злоумышленников, которые пытаются взломать цифровую защиту и похитить конфиденциальную информацию. В ходе исследования, которое недавно провела компания Gartner^®, были выявлены пять новых рисков, самых распространенных в I кв. 2024 г. Два первых места в списке заняли риски, связанные с ИИ — атаки с применением ИИ и дезинформация с помощью ИИ. Gartner отмечает, что усовершенствование ИИ может облегчить применение фишинга и социальной инженерии, повысив к ним доверие жертв — это приведет к более успешным вторжениям и более разрушительным атакам.

Rogue AI («вышедший из подчинения ИИ») — это ситуация, когда ИИ действует вопреки поставленной цели. Такое отклонение может произойти случайно, например, из-за отсутствия соответствующих управляющих правил. Также это может быть преднамеренное вмешательство, когда злоумышленники пытаются подчинить себе ИИ-систему и использовать ее, или устанавливают в среду вредоносные модели ИИ.

Автоматизация мошенничества — это создание синтетического контента: текстового, аудио или видео, для компрометации бизнес-процессов с помощью фишинговых и BEC-атак, а также видео- или аудио-дипфейков. Автоматизация мошенничества легко масштабируется с помощью ИИ.

Системы ИИ зависят от данных. Поэтому данные, используемые в системах искусственного интеллекта, в том числе вводимые в данный момент, должны соответствовать всем нормам конфиденциальности и добросовестного использования. Чтобы минимизировать риски, необходимо обеспечить проактивное и эффективное управление данными.

LLM-модели сталкиваются с критическими уязвимостями, включая промпт-инъекции для манипуляции поведением модели, раскрытие чувствительной информации и конфиденциальных данных, а также ненадлежащую обработку выходных данных для атаки на последующие системы. К серьезным рискам также относятся уязвимости в цепочке поставок в связи с зависимостью от третьих сторон, предоставление чрезмерных разрешений, отравление данных, которое ставит под угрозу целостность модели, и утечка промптов с конфиденциальными инструкциями. Кроме того, слабые места, связанные с векторными представлениями, генерация недостоверной информации и атаки, использующие неограниченное потребление, угрожают безопасности, надежности и доступности LLM-приложений.