OWASP(Open Worldwide Application Security Project)는 소프트웨어 보안 교육 및 모범 사례를 홍보한 20년 이상의 경험을 가진 비영리 조직입니다.
목차
OWASP란?
Owasp 대표 이니셔티브인 OWASP Top 10은 가장 중요한 웹 애플리케이션 보안 위험의 정기적으로 업데이트되는 목록입니다.
2023년 5월 OWASP는 대형 언어 모델(LLM) 및 생성형 AI와 관련된 새로운 위험을 해결하기 위해 생성형 AI 보안 프로젝트를 시작했습니다. 조직이 이러한 기술을 빠르게 채택함에 따라 프롬프트 인젝션, 데이터 유출 및 거버넌스 위험에 대한 우려가 커졌습니다. AI를 위한 체계적인 보안 프레임워크가 없기 때문에 OWASP는 위험을 분류하고 완화 전략을 제안하는 이 프로젝트를 생성해야 했습니다.
트렌드마이크로는 골드 스폰서로서 OWASP Generative AI Security Project를 지원합니다. AI 기술에 대한 20년 가까이의 연구 및 제품 개발을 통해 AI 관련 보안 위험을 식별하고 완화하여 \"디지털 정보를 안전하게 교환할 수 있는 세상을 만드는\" 사명을 달성하기 위해 최선을 다하고 있습니다.
LLM 보안은 기술뿐만 아니라 거버넌스, 투명성 및 신뢰에 관한 것입니다.
LLM 애플리케이션을 위한 OWASP 상위 10위 - 2025
이 프로젝트에서 OWASP는 AI 중심 상위 10개 목록의 여러 버전을 출시했습니다.
버전 0.5(2023년 5월)
버전 1.1(2023년 10월)
버전 2025(2024년 11월)
최신 버전인 LLM 애플리케이션 및 Generative AI용 OWASP Top 10은 가장 중요한 위험, 권장 완화 방안 및 공격 시나리오 예를 설명합니다. 다음은 2025년 상위 10개 위험에 대한 개요입니다.
프롬프트 인젝션
사용자 입력이 의도치 않게 LLM의 동작 또는 출력을 변경할 때 프롬프트 인젝션이 발생합니다. 이는 가이드라인 위반, 유해한 콘텐츠 생성, 무단 접근 또는 중요한 결정에 대한 영향으로 이어질 수 있습니다. RAG(검색 증강 생성) 및 미세 조정과 같은 기술은 출력 품질을 개선하지만 즉각적인 주입 취약점을 완전히 제거하지는 않습니다.
미세 조정은 전문 지식을 추가하기 위해 도메인별 데이터세트에서 사전 트레이닝된 범용 모델을 트레이닝하는 것을 의미합니다.
프롬프트 인젝션 및 탈옥은 다음과 같은 관련 개념입니다.
프롬프트 인젝션은 생성된 입력을 통해 응답을 조작합니다.
탈옥은 공격자가 안전 프로토콜을 우회하는 즉각적인 주입의 한 형태입니다.
시스템 프롬프트(애플리케이션의 의도를 정의하는 지침)의 보호는 도움이 될 수 있지만 지속적인 모델 교육과 업데이트된 안전 메커니즘이 더 효과적입니다.
민감한 정보 공개
LLM은 기밀 데이터, 독점 알고리즘 또는 기타 민감한 정보를 유출할 위험이 있습니다. 결과물은 무단 접근, 개인정보 보호 위반 또는 IP 침해로 이어질 수 있습니다. 사용자는 나중에 노출될 수 있으므로 기밀 데이터를 LLM에 입력하는 것을 피해야 합니다.
완화 전략은 다음과 같습니다.
데이터를 삭제하고 교육 세트에서 민감한 콘텐츠를 제외합니다.
사용자 데이터에 대한 명확한 사용 조건 및 옵트아웃 메커니즘 제공.
시스템 프롬프트에 제한 추가(단, 프롬프트 인젝션을 통해 바이패스할 수 있음).
공급망 취약점
LLM 공급망은 교육 데이터, 모델 및 배포 플랫폼에 영향을 미치는 위험에 직면해 있습니다. 이는 편향된 출력, 위반 또는 실패를 초래할 수 있습니다. 기존 소프트웨어와 달리 LLM 위험은 타사의 사전 트레이닝된 모델 및 데이터세트로 확장됩니다.
오픈 액세스 모델 및 미세 조정 방법(예: 허깅 페이스)은 노출을 증가시킵니다. 온디바이스 LLM은 공격 표면을 더욱 확장합니다.
교육 데이터 중독
데이터 중독은 취약점이나 편견을 도입하기 위해 사전 교육, 미세 조정 또는 포함 단계를 조작합니다. 이는 성능, 윤리 및 보안을 저하시킬 수 있습니다.
위험에는 다음이 포함됩니다.
외부 데이터 소스의 악성 콘텐츠.
공유 또는 오픈 소스 모델에 내장된 멀웨어[내부 링크]
특정 입력에 의해 트리거되는 “침대 겸용 에이전트” 역할을 하는 백도어.
안전하지 않은 출력 처리
다운스트림 시스템에 도달하기 전에 LLM 출력이 검증되거나 살균되지 않으면 공격자는 다음과 같은 취약점을 악용할 수 있습니다.
현장 간 요청 위조(CSRF)
서버측 요청 위조(SSRF)
권한 상승 및 원격 코드 실행
LLM에 과도한 권한이 있거나 타사 확장에 입력 유효성 검사가 부족할 경우 이러한 위험이 증가합니다.
과도한 기관
LLM 기반 시스템에는 종종 기능 또는 확장을 동적으로 호출하는 기능인 \"에이전시\"가 있습니다. 과도한 기능, 권한 또는 자율성은 연결된 시스템에 따라 기밀성, 무결성 및 가용성을 손상시킬 수 있습니다.
시스템 프롬프트 누출
시스템 프롬프트는 모델 동작을 안내하지만 자격 증명 또는 연결 문자열과 같은 민감한 데이터를 포함할 수 있습니다. 누출은 가드레일 우회 또는 권한 상승과 같은 공격을 가능하게 할 수 있습니다. 완전한 공개가 없더라도 공격자는 상호작용 패턴을 통해 가드레일을 추론할 수 있습니다.
안전하지 않은 플러그인 설계
RAG 기반 시스템에서 벡터 및 임베딩을 생성, 저장 또는 검색하는 취약점은 악성 콘텐츠 삽입, 출력 조작 또는 무단 데이터 액세스를 허용할 수 있습니다.
과신
LLM은 신뢰할 수 있는 것처럼 보이는 허위 또는 오해의 소지가 있는 콘텐츠(환각)를 생성하여 평판 손상 또는 법적 위험을 초래할 수 있습니다. 원인은 다음과 같습니다.
진정한 이해 없이 통계적 격차 해소
편향 또는 불완전한 교육 데이터
사용자의 검증되지 않은 출력에 대한 과도한 의존
모델 도난
제어되지 않는 추론 요청은 서비스 거부(DoS), 재정적 손실, 모델 도난 또는 서비스 저하를 초래할 수 있습니다. 클라우드 환경은 높은 컴퓨팅 수요로 인해 특히 취약합니다.
조직은 어떻게 LLM을 보호할 수 있습니까?
대기업 모델(LLM)은 엔터프라이즈 워크플로우에 필수적이 되기 때문에 보안이 중요합니다. 조직은 강력한 거버넌스, 모니터링 및 기술적 안전 장치를 구현하여 사전에 위험을 해결해야 합니다. LLM용 OWASP 상위 10위는 데이터 유출, 프롬프트 인젝션 공격 및 적절히 완화되지 않을 경우 오용으로 이어질 수 있는 주요 취약점을 강조합니다.
?OWASP의 사명은 개인과 조직이 정보에 입각한 결정을 내릴 수 있도록 소프트웨어 보안을 가시화하는 것입니다.?
조직이 취할 수 있는 주요 조치:
강력한 접근 제어 구현: LLM과 상호 작용할 수 있는 사람을 제한하고 인증 및 인증을 시행하여 무단 사용을 방지합니다.
입력 검증 및 소독: 엄격한 입력 검증 및 필터링을 적용하여 프롬프트 인젝션 및 악성 지침을 방지합니다.
민감한 데이터의 출력 모니터링: 자동화된 도구를 사용하여 생성된 응답에서 기밀 또는 개인 식별 정보를 탐지하고 수정합니다.
속도 제한 및 남용 감지 적용: 과도한 요청을 제한하고 오용 또는 자동화된 악용을 나타내는 패턴을 모니터링하십시오.
모델 거버넌스 및 로깅 수립: 감사 및 규정 준수를 위해 상호작용에 대한 세부 로그를 유지하고 허용 가능한 사용을 위한 명확한 정책을 정의합니다.
정기적인 업데이트 및 패치 모델: LLM 프레임워크 및 종속성을 최신 상태로 유지하여 새로운 취약점을 해결합니다.
보안 사용 관행에 대한 직원 교육: 데이터 유출 및 프롬프트 인젝션과 같은 위험에 대해 직원을 교육하여 인적 오류를 줄입니다.
트렌드마이크로를 통한 LLM 보안 강화
LLM용 OWASP Top 10은 즉각적인 주입, 데이터 유출 및 안전하지 않은 플러그인과 같은 위험을 경고합니다. Trend Vision One™은 기업이 다음과 같은 문제를 해결할 수 있도록 지원합니다.
AI 애플리케이션 보안 – 악성 프롬프트 및 플러그인 익스플로잇을 차단합니다.
제로 트러스트 액세스 – 엄격한 ID 및 권한을 적용합니다.
AI 보안 태세 관리 – 잘못된 구성 및 취약점을 스캔합니다.
위협 인텔리전스 – 새로운 AI 관련 공격을 탐지합니다.
중앙 집중식 거버넌스 – 사용량을 모니터링하고 정책을 시행합니다.
Trend Vision One™을 통해 기업은 보안과 규정 준수를 유지하면서 LLM을 자신 있게 배포할 수 있습니다.
Fernando Cardoso 는 트렌드마이크로의 제품 관리 부사장으로, 끊임없이 진화하는 AI 및 클라우드 세계에 중점을 두고 있습니다. 그는 네트워크 및 영업 엔지니어로 시작하여 데이터 센터, 클라우드, DevOps 및 사이버 보안 분야에서 자신의 기술을 연마했으며, 이는 계속해서 열정을 불러일으키고 있습니다.
자주 묻는 질문(FAQ)
사이버 보안에서 OWASP란 무엇입니까?
OWASP는 전 세계적으로 웹 애플리케이션 보안을 개선하기 위한 리소스, 도구 및 지침을 제공하는 오픈 소스 프로젝트입니다.
OWASP Top 10이란?
OWASP Top 10은 개발자를 위해 정기적으로 업데이트되는 가장 중요한 웹 애플리케이션 보안 위험 목록입니다.
OWASP Top 10은 얼마나 자주 업데이트됩니까?
OWASP Top 10은 일반적으로 3년마다 업데이트되며, 새로운 위협과 진화하는 웹 애플리케이션 보안 관행을 반영합니다.
OWASP 사용 방법
웹 애플리케이션 취약점을 식별, 예방 및 완화하기 위한 지침, 도구 및 모범 사례를 구현하여 OWASP를 사용합니다.