OWASP(オワスプ、Open Worldwide Application Security Project)は、20年以上にわたりソフトウェアセキュリティに関する教育とベストプラクティスを推進してきた非営利団体です。
目次
OWASPの代表的な取り組みであるOWASP Top 10は、Webアプリケーションのセキュリティリスクのなかでも特に重要性の大きなものをリスト化した文書で、その内容は定期的に更新されています。
2023年5月、OWASPは大規模言語モデル(LLM)および生成AIに関連する新たなリスクに対処するため、Generative AI Security Projectを開始しました。その背景には、さまざまな組織でLLMや生成AIの導入が急速に進むなか、プロンプトインジェクション、データ漏洩、ガバナンスリスクに対する懸念が大きくなっていることが挙げられます。AIに対する体系的なセキュリティフレームワークが存在しなかったことを受けて、AIに関するリスクを分類し、各リスクについて軽減に向けた戦略を提案するためにOWASPが立ち上げたのがこのプロジェクトです。
トレンドマイクロは、OWASP Generative AI Security Projectをゴールドスポンサーとして支援しています。トレンドマイクロは、AI技術の研究開発に20年近く携わっており、AI関連のセキュリティリスクを特定および軽減することにより、「デジタルインフォメーションを安全に交換できる世界の実現」という使命に引き続き取り組んでいます。
LLMのセキュリティ確保は、単に技術の問題ではなく、ガバナンス、透明性、信頼の問題です。
OWASPはこのプロジェクトにおいて、AI特化したTop 10リストを複数バージョン公開しています。
バージョン0.5(2023年5月)
バージョン1.1(2023年10月)
バージョン2025(2024年11月)
最新版の「OWASP Top 10 for LLM Applications Generative AI」では、特に重大なリスク、推奨される軽減策、および攻撃シナリオの例を概説しています。以下では、2025年版で10大リスクとして取り上げられたリスクを簡単に紹介します。
プロンプトインジェクションは、ユーザの入力が意図せずLLMの挙動または出力を変更した場合に発生します。これは、ガイドライン違反、有害コンテンツの生成、不正アクセス、重要な意思決定への影響力行使などにつながる可能性があります。検索拡張生成(RAG)やファインチューニングなど、出力の品質向上を目的とした手法は存在するものの、プロンプトインジェクションに対する脆弱性を完全に排除することはできないのが現実です。
ファインチューニングとは、事前に学習を受けた汎用モデルに特定の分野のデータセットで再学習させ、専門知識を追加することを指します。
プロンプトインジェクションとジェイルブレイクは相互に関連する概念です。
プロンプトインジェクションは、巧妙に作成した入力によって応答を操作します。
ジェイルブレイクは、プロンプトインジェクションの一種で、攻撃者がセーフティプロトコルの回避を試みるものです。
システムプロンプト(アプリケーションの意図を定義する命令)における安全対策も有効ですが、継続的なモデル学習と最新の安全メカニズムの導入の方が効果的です。
LLMは、機密データ、独自のアルゴリズム、その他の機密情報を漏洩するリスクを抱えています。また、出力結果によっては、不正アクセス、プライバシー侵害、知的財産権の侵害につながる可能性もあります。ユーザは、機密データの漏洩を避けるため、機密データをLLMに入力しないようにする必要があります。
リスク緩和のための戦略としては、以下が挙げられます。
データのサニタイズを実施し、学習用データセットから機密性の高いコンテンツを除外する。
ユーザデータに関する明確な利用規約とオプトアウトの仕組みを提供する。
システムプロンプトに制限を追加する(ただし、プロンプトインジェクションによって回避される可能性あり)。
LLMサプライチェーンには、学習データ、モデル、および展開プラットフォームまで幅広くリスクが存在します。このようなリスクは、出力のバイアス、データ侵害、障害の原因になることがあります。LLMのリスクは、従来のソフトウェアとは異なり、第三者による事前の学習を受けたモデルやデータセットにも及びます。
オープンアクセスモデルやファインチューニング手法(例:Hugging Face)は、リスクを高めます。オンデバイスLLMは、アタックサーフェス(攻撃対象領域)をさらに拡大させます。
データ汚染とは、事前学習、ファインチューニング、または埋め込みの段階に不正な操作を加え、脆弱性やバイアスを導入する手法を指します。これは、パフォーマンスの低下、倫理的問題、セキュリティの弱体化の原因になります。
このリスクには以下のようなものがあります。
外部データソースに悪意のあるコンテンツが含まれている。
共有モデルやオープンソースモデルにマルウェアが埋め込まれている。
特定の入力によって作動する「スリーパーエージェント」としてのバックドアが組み込まれている。
LLMの出力が下流システムに到達する前に検証またはサニタイズを経ていない場合、攻撃者に次のような脆弱性を悪用される可能性があります。
Cross-Site Request Forgery(CSRF)
Server-Side Request Forgery(SSRF)
権限昇格とリモートコード実行
このリスクは、LLMに過剰な権限を持たせている場合や、サードパーティ製の拡張機能に入力検証機能がない場合にはいっそう大きくなります。
LLMベースのシステムは、「エージェント機能」、つまり各種の機能や拡張機能を動的に呼び出す能力を備えていることが多々あります。その機能、権限、または自律性が過剰だと、接続されているシステムによっては、機密性、完全性、および可用性に悪影響を及ぼす可能性があります。
システムプロンプトはモデルの挙動の指針となるものですが、認証情報や接続文字列などの機密データが含まれていることがあります。そのため、漏洩すると、ガードレールの回避や権限昇格などの攻撃が可能になるおそれがあります。また、情報が完全に漏洩していなくても、攻撃者がやり取りのパターンからガードレールを推測できることもあります。
RAGベースのシステムでは、ベクトルや埋め込みの生成、保存、取得の脆弱性が原因となって、悪意のあるコンテンツの注入、出力の操作、または不正なデータアクセスが発生する可能性があります。
LLMが生成するコンテンツは、一見すると信頼できそうでありながら実際は間違っていたり、誤解を招きかねない内容だったりすることがあります(いわゆるハルシネーション)。そのようなコンテンツは、評判の低下や法的リスクにつながる可能性があります。原因としては以下のようなものがあります。
真の理解を伴わない統計的穴埋め
学習データのバイアスや不完全性
未検証の出力に過度に依存してしまうユーザ側の姿勢
制御されていない推論要求により、サービス拒否(DoS)攻撃、金銭的損失、モデル窃取、またはサービス品質の低下が発生する可能性があります。クラウド環境は高い計算能力が求められるため、この点で特に脆弱です。
大規模言語モデル(LLM)は、企業のワークフローに不可欠な存在となりつつあるため、そのセキュリティを確保することは極めて重要です。組織は、強固なガバナンス、監視、および技術的な安全対策を実践し、リスクに先回りで対処しなければなりません。OWASP Top 10 for LLMsでは、適切な対策を講じなければデータ漏洩、プロンプトインジェクション攻撃、不正利用につながるおそれのある主な脆弱性が挙げられています。
OWASPの使命は、ソフトウェアセキュリティを可視化することにより、個人や組織が情報に基づいた意思決定を行えるようにすることです。
組織ができる主な対策は以下のとおりです。
強力なアクセス制御の導入:LLMとやり取りできるユーザを制限するとともに、認証と認可を徹底して不正利用を防止します。
入力データの検証とサニタイズ:厳格な入力検証とフィルタリングを適用し、プロンプトインジェクションや悪意のある命令を予防します。
機密データに関する出力の監視:自動化ツールを活用し、生成された回答に含まれる機密情報や個人を識別可能な情報を検出および削除します。
レート制限と不正利用検出の適用:過剰なリクエストを制限するとともに、不正利用や自動化された悪用を示すパターンを監視します。
モデルのガバナンスとログ記録の確立:監査およびコンプライアンスに備えてLLMの操作の詳細なログを保持するとともに、許容される使用に関する明確なポリシーを策定します。
モデルへの定期的なアップデートとパッチの適用:新たな脆弱性に対処できるよう、LLMフレームワークとその依存関係を常に最新の状態に保ちます。
担当者への安全な利用方法に関する研修の実施:データ漏洩やプロンプトインジェクションなどのリスクについて従業員に研修を実施し、人的ミスを減らします。
OWASP Top 10 for LLMsは、プロンプトインジェクション、データ漏洩、安全性の低いプラグインなどのリスクについて警鐘を鳴らしています。TrendAI Vision One™ は、そのような課題に組織が対処するうえで役立ちます。具体的には、以下のとおりです。
AI Application Security:悪意のあるプロンプトやプラグインの脆弱性をブロックします。
ゼロトラストアクセス:厳格な本人確認とアクセス権限管理を徹底します。
AI Security Posture Management:誤設定や脆弱性をスキャンします。
脅威インテリジェンス:新たに出現するAI特有の攻撃を検知します。
一元的ガバナンス:利用状況を監視し、ポリシーを遵守させます。
TrendAI Vision One™ なら、企業がセキュリティとコンプライアンスを維持しながら、自信を持ってLLMを導入できます。
Fernando Cardosoはトレンドマイクロのプロダクトマネジメント担当バイスプレジデントとして、進化を続けるAIとクラウドの領域に注力しています。ネットワークエンジニアおよびセールスエンジニアとしてキャリアをスタートさせ、データセンター、クラウド、DevOps、サイバーセキュリティといった分野でスキルを磨きました。これらの分野は、今なお彼の情熱の源となっています。
OWASPは、Web アプリケーションのセキュリティを世界的に向上させるためのリソース、ツール、ガイドラインを提供しているオープンソースプロジェクトです。
OWASP Top 10は、Web アプリケーションのセキュリティリスクのなかでも特に重要性の大きなものをリスト化した開発者向け文書です。内容は定期的に更新されています。
OWASP Top 10は、新たな脅威や進化するWebアプリケーションセキュリティの実務を内容に反映させるため、通常3年ごとに更新されます。
OWASPのガイドライン、ツール、ベストプラクティスを導入することにより、Webアプリケーションの脆弱性を特定、防止、軽減できます。