OWASP Top 10: Co to jest i dlaczego warto znać?

W ramach projektu OWASP opublikowało kilka wersji listy skoncentrowanej na AI:

• Wersja 0.5 (maj 2023)

• Wersja 1.1 (październik 2023)

• Wersja 2025 (listopad 2024)

Najnowsza wersja, OWASP Top 10 dla aplikacji LLM i generatywnej AI, przedstawia najważniejsze zagrożenia, zalecane środki zaradcze i przykładowe scenariusze ataków. Oto przegląd 10 głównych zagrożeń na rok 2025:

Iniekcja promptów występuje, gdy dane wejściowe użytkownika nieumyślnie zmieniają zachowanie lub wynik LLM. Może to prowadzić do naruszenia zasad, generowania szkodliwych treści, nieautoryzowanego dostępu lub wpływu na kluczowe decyzje. Techniki takie jak Retrieval-Augmented Generation (RAG) i fine-tuning poprawiają jakość wyników, ale nie eliminują całkowicie tej podatności.

Fine-tuning oznacza dalsze trenowanie wstępnie wytrenowanego modelu na danych specyficznych dla danej dziedziny.

Iniekcja promptów i jailbreaking to powiązane pojęcia:

• Iniekcja promptów: manipulacja odpowiedziami poprzez spreparowane dane wejściowe.

• Jailbreaking: forma iniekcji promptów, która omija mechanizmy bezpieczeństwa.

Zabezpieczenia w promptach systemowych mogą pomóc, ale skuteczniejsze jest ciągłe trenowanie i aktualizacja mechanizmów bezpieczeństwa.

LLM mogą ujawniać poufne dane, algorytmy lub inne wrażliwe informacje. Wyniki mogą prowadzić do nieautoryzowanego dostępu, naruszenia prywatności lub praw własności intelektualnej. Użytkownicy powinni unikać wprowadzania poufnych danych, ponieważ mogą zostać ujawnione później.

Środki zaradcze:

• Sanityzacja danych i wykluczenie informacji wrażliwych z zestawów treningowych.

• Jasne warunki użytkowania i mechanizmy rezygnacji z wykorzystania danych.

• Dodanie ograniczeń w promptach systemowych (choć mogą być obchodzone).

Łańcuch dostaw LLM jest narażony na ryzyka dotyczące danych treningowych, modeli i platform wdrożeniowych. Mogą one powodować stronniczość wyników, naruszenia bezpieczeństwa lub awarie systemu. W przeciwieństwie do tradycyjnego oprogramowania, ryzyka LLM obejmują także modele i dane stron trzecich.

Modele open-access i metody fine-tuningu (np. na Hugging Face) zwiększają ekspozycję. LLM działające na urządzeniach dodatkowo powiększają powierzchnię ataku.

Zatrucie danych polega na manipulacji etapami pre-treningu, fine-tuningu lub embeddingu w celu wprowadzenia podatności lub stronniczości. Może to obniżyć wydajność, etykę i bezpieczeństwo.

Ryzyka:

• Złośliwe treści w zewnętrznych źródłach danych

• Malware w modelach open source

• Backdoory działające jako „uśpieni agenci” aktywowane przez określone wyzwalacze

Gdy wyniki LLM nie są walidowane ani oczyszczane przed przekazaniem do systemów downstream, mogą wystąpić ataki takie jak:

• Cross-Site Scripting (XSS)

• Cross-Site Request Forgery (CSRF)

• Server-Side Request Forgery (SSRF)

• Eskalacja uprawnień i zdalne wykonanie kodu

Ryzyko rośnie przy nadmiernych uprawnieniach lub niebezpiecznych rozszerzeniach.

Systemy oparte na LLM często mają „agency”, czyli zdolność do dynamicznego wywoływania funkcji lub rozszerzeń. Nadmierna funkcjonalność, uprawnienia lub autonomia mogą zagrozić poufności, integralności i dostępności.

Prompty systemowe sterują zachowaniem modelu, ale mogą zawierać wrażliwe dane, np. dane uwierzytelniające. Ich wyciek umożliwia ataki, takie jak obejście zabezpieczeń lub eskalacja uprawnień. Nawet bez pełnego ujawnienia atakujący mogą wywnioskować ograniczenia na podstawie interakcji.

W systemach RAG podatności w generowaniu, przechowywaniu lub pobieraniu wektorów i embeddingów mogą umożliwić wstrzyknięcie złośliwych treści, manipulację wynikami lub nieautoryzowany dostęp.

LLM mogą generować fałszywe lub wprowadzające w błąd treści (halucynacje), które wyglądają wiarygodnie, powodując szkody reputacyjne lub ryzyko prawne. Przyczyny:

• Statystyczne uzupełnianie luk bez rzeczywistego zrozumienia

• Stronniczość lub niekompletne dane treningowe

• Nadmierne poleganie na niezweryfikowanych wynikach

Nieograniczone zapytania mogą prowadzić do ataków DoS, strat finansowych, kradzieży modelu lub degradacji usług. Środowiska chmurowe są szczególnie podatne ze względu na wysokie wymagania obliczeniowe.