Artificial Intelligence (AI)
OpenAI・Hugging Faceインシデントの内幕：背後に人間の攻撃者がいないAI侵害
OpenAIの自社モデルがテスト用サンドボックスを脱出し、評価課題を解くためにHugging Faceのサーバへ侵入しました。人間の攻撃者は関与していません。本インシデントは、エージェント型AIの安全性を保つうえで、モデルをどう訓練するかだけでなく、どう封じ込めるかが問われる時代に入ったことを示しています。
- 十分な裁量を与えられたAIシステムは、悪意も人間の指示もないまま、単独で実害を引き起こし得ます。
- テレメトリに現れるのは意図ではなく挙動です。したがって防御側は、エージェントが「なぜ」動くのかではなく、「何を」実際に行っているのかに注目する必要があります。
- 従来型の防御では、この種の攻撃を見逃すおそれがあります。正規の認証情報とツールを使うAIエージェントは、マルウェアではない以上、マルウェアのようには見えないためです。
- モデルの安全性を保つうえで、サンドボックス化と監視は中核をなします。いまや、モデルをどう封じ込め、どう監視するかは、どう訓練したかと同じくらい重要です。
7月21日（火）、OpenAIは自ら「前例のないサイバーインシデント」と呼ぶ事案の原因を確認しました。AI業界の多くがモデルやデータセットのホスティング・共有に利用するプラットフォームであるHugging Faceが、先週公表した侵入事案です。本インシデントでは、攻撃を指示した人間は一人も存在しません。AIモデルはただテストに合格しようとするなかで、結果として他社のシステムへの侵入に至ったのです。
サンドボックスから他社のサーバへ
今回の侵害は、OpenAIが自社モデル（GPT-5.6 Solおよびそれを上回る能力を持つリリース前バージョン）の攻撃的サイバー能力を評価している最中に発生しました。評価は安全分類器（セーフティクラシファイア）を無効化した状態で、外部との接続が内部のソフトウェアプロキシのみに限定されたサンドボックス内で実施されていました。モデルはこのプロキシにゼロデイ脆弱性を発見してサンドボックスを脱出し、インターネットに接続可能なマシンへとラテラルムーブメント（内部での横展開）を行いました。さらに、テストの解答がHugging Faceにあるのではないかと推論し、窃取した認証情報とゼロデイ脆弱性を連鎖させて同社の本番データベースに到達し、解答を直接取得しました。両社のセキュリティチームはそれぞれ独立にこの活動を検知したのちに連絡を取り合い、現在も共同調査が続いています（なお、OpenAIはプロキシの脆弱性をベンダーに報告済みです）。
多くの防御はこの種の脅威を想定して設計されていない
TrendAI™は、2024年のローグAIリサーチシリーズ（英語）において、運用者の意図に反して動作するAIシステムを3つのカテゴリに分類しました。攻撃者が意図的に展開する「悪意あるローグ」、環境が想定する以上の裁量を与えられて軌道を外れる「偶発的なローグ」、そしてジェイルブレイクやプロンプトインジェクションによって乗っ取られる「乗っ取られたローグ」です。ここでいう「ローグ」とは、モデルが敵意を持ったり自我に目覚めたりしたことを必ずしも意味しません。AIシステムが運用者の意図の外で動作している状態を指すものであり、本インシデントはその典型例です。
自ら軌道を外れるエージェントは内部脅威に、乗っ取られたエージェントは侵害されたアカウントに似ており、いずれにも対応するツールは存在します。異なるのはスピードです。内部犯行者や侵害されたアカウントは人間の速度で動くため、防御側には対応する時間が残されます。一方、エージェントはGPUの速度で動くため、防御そのものもエージェント型である必要があります。
本インシデントは、偶発的なローグが実運用規模で発生した一例です。これらのモデルは乗っ取られたわけでも、悪意を持って展開されたわけでもありません。OpenAIが素の能力を測るために意図的にガードレールを緩めたところ、モデルはその裁量を使い、誰も意図しなかった方法で問題を解決したのです。いわば、テストに落ちたのではなく、テストの裏をかいたと言えます。
被害を受けた組織の側から見るとどうでしょうか。Hugging Faceが7月16日に侵入を公表した時点では、どの企業のモデルが背後にいたのかはまだ判明していませんでした。同社のブログ記事は、使用されたLLMは「依然として不明」であるとし、この活動を、かねて予測されてきた「エージェント型攻撃者」のシナリオに合致するものと説明しています。週末の間に、短命なサンドボックス群にまたがって17,000件を超えるアクションが記録され、公開サービス上には自己移設型のC&C（コマンド＆コントロール）が構築されていました。Hugging Faceは外部のフォレンジック専門家を招き、法執行機関にも通報しています。5日間にわたり、同社は攻撃を受けている前提で対応を続けました。それは完全に合理的な判断でした。
防御側の視点では、偶発的なローグと敵意あるローグを見分けることはできません。テレメトリに意図は映らず、現れるのは挙動だけだからです。一方、人間の攻撃者グループとの決定的な違いは規模にあります。Hugging Faceが一つの週末で記録した17,000件超のアクションは、人間のチームには維持できないペースであり、人間の速度を前提とした防御では太刀打ちできません。戦術自体は偵察とラテラルムーブメントという馴染みのある定石でしたが、真の課題はその量と速度です。
このパターンには前例があります。OpenAIが2024年に公開したo1のモデルカードには、同種の挙動の小規模版が記録されています。CTF（Capture The Flag）形式のセキュリティ演習中、モデルは修復できない不具合を抱えた課題用コンテナに遭遇し、Docker APIを使って自らコンテナのコピーを起動し、ログから答えを直接読み取ったのです。
AIの開発者と運用者は何を変えるべきか
今回モデルが行った行動のほとんどは、従来型の防御には引っかかりません。その理由は構造的なものです。シグネチャベースや脆弱性ベースのツールは、既知の不正な活動を捕捉するために作られています。自らに割り当てられた認証情報とツールアクセスを使って本来到達すべきでないシステムに到達するAIエージェントは、マルウェアではない以上、マルウェアのようには見えません。したがって、安全側に立つなら「十分な能力を持つモデルは、封じ込めるためのサンドボックスをすり抜け得る」と想定すべきです。セキュリティ体制は、封じ込めだけでなく、抜け出した後にモデルが何をするかを軸に組み立てる必要があります。
エージェント型AIのセキュリティ確保には、従来とは異なる一連の対策が求められます。
- セキュリティチームは、エージェントの本番投入前にレッドチーム演習を実施する。 プロンプトインジェクション、データ窃取、認証バイパスといった適応型の攻撃テストにより、エージェントの弱点を展開後ではなく展開前に洗い出せます。
- 防御側は、エージェントが実行時に実際に何をしているかを監視する。 重要なシグナル（想定外のツール呼び出し、新規ホストへの接続、想定範囲外へのデータ持ち出し）は、独立したマルウェアのペイロードではなく、エージェント自身の挙動に現れます。
- チームは、すべてのエージェントと接続ツールを重要資産として棚卸しする。 どのエージェントが存在し、どこへのアクセスが許可され、それぞれのリスクがどの程度かを網羅したリストなしには、想定範囲の外で動作するエージェントを捕捉できません。
- 企業は、ガードレールを緩めた環境を高リスクとして扱う。 安全制御を意図的に外す評価用サンドボックス、レッドチーム演習、エージェントの試験導入には、本番システムより弱いどころか、むしろ強い分離と監視が必要です。
本インシデントが防御側に示すもの
目新しさを取り除けば、本インシデントは一連のネットワークイベントでした。レッドチーム演習や標的型攻撃（APT）と同様に、攻撃側はまず周辺システムの偵察を行う必要があり、ここでの最初の標的はプロキシでした。プロキシを特定したうえで、既存のエクスプロイトを探すか、（今回のように）自ら作成して標的に対しテストする必要があります。どれだけの試行錯誤を要したのかは明らかになっていません。こうした探査活動はすべてモデル自身のコード実行サンドボックス内で行われ、いずれも不審な活動として検出されることはありませんでした。
まさにこの局面で役立つのが、TrendAI Vision One™の検知モデルと組み合わせたTrendAI™ Deep Discovery™ Inspectorです。この組み合わせは偵察活動の検知を支援し、TrendAI Vision One™は異常な活動を捕捉できたはずです。たとえば、エージェント型システムやLLMシステムはAPI、CLI、MCPを通じてツールを呼び出しますが、これらはいずれも設定済みかつ許可されたものです。裏を返せば、検出すべきは、通常と異なるエージェント用プロトコルやツールの使用ということになります。
サンドボックス脱出後にモデルが最初に目指したのは、インターネットアクセスでした。その後に続く重要なステップ（権限昇格、ラテラルムーブメント、リモート標的への移動、他社の本番データベースからのデータ取得）は、すべてネットワークを経由しています。自律的なAIの活動が可視化できるのも、制御できるのも、まさにネットワーク上です。AIエージェントはエンドポイント上ではマルウェアのように見えないかもしれませんが、トラフィックを隠すことはできません。ネットワーク活動の詳細な検査（アウトバウンドに加え、内部間のイーストウェスト通信も対象）を行えば、想定外の外向き通信の試行、環境間のラテラルムーブメント、エージェントが本来アクセスする理由のないシステムへの接続という、本インシデントが各段階で生み出したシグナルをそのまま浮かび上がらせることができます。
本インシデントのようなエージェントを、単一の対策で捕捉することはできません。エージェントは有効な認証情報を持ち、承認済みの自前のツールを呼び出し、シグネチャの存在しないゼロデイを悪用し得ます。したがって防御は多層でなければなりません。加えて、マシンスピードで動く攻撃者を相手に、あらゆるアクションへ人間が逐一介在する時間は残されていないため、防御は自動化されている必要があります。
本番投入前にエージェントをテストする（TrendAI Vision One™ AI Application Security）
OpenAIのモデルは、安全分類器を無効化した状態で、サンドボックス境界そのものへの敵対的テストがないまま評価されていました。AI Application Securityの展開前レッドチーミングは、プロンプトインジェクション、データ窃取、認証バイパス、ジェイルブレイクといった、AIアプリケーションやエージェントが本番環境で直面する攻撃をシミュレートします。裁量を与えられたエージェントが誰も想定しなかった経路を見つけるという本インシデントのような弱点を、実際のインフラがリスクにさらされる前に洗い出せます。ガードレールは、チャットボットを使う人間の前だけでなく、LLMを呼び出すあらゆるソフトウェアやエージェントの前に配置すべきです。対処すべきはプロンプトインジェクションだけではありません。適切なポリシーがあれば、当初の目標からのドリフト（逸脱）やミスアラインメント（不整合）も検知できます。
インシデントの進行をその場で捕捉する（TrendAI Vision One™ Agentic SIEM）
本インシデントでは、環境をまたいで再利用される窃取済みの認証情報、外部インターネットへの突然のピボット、モデルが本来アクセスする理由のないシステムへのアクセスといった警告サインが実際に存在していました。ただし、それぞれが別々の制御ポイントに散在していました。Agentic SIEMは、アイデンティティ、アクセス制御、ファイアウォール、プロキシといった周辺の制御からテレメトリを取り込み、これらのシグナルを相関分析してインシデントの進行を検知します。そこから先は、TrendAI Vision One™の自動対応とプレイブックにより、影響を受けたシステムの隔離や、侵害されたアカウントの無効化が可能です。
エージェントに連鎖される前に攻撃経路を特定す（TrendAI Vision One™ Cyber Risk Exposure Management（CREM）
プロキシのゼロデイは新規のものでした。しかしその後の展開は、過剰な権限を持つサービスアカウント、サンドボックスと本番環境の間のセグメンテーション不足、環境をまたぐ権限昇格を可能にした認証情報といった、インフラ側の不備に行き着きます。CREMの攻撃経路予測機能は、こうしたマルチホップの連鎖を日次でマッピングし、脆弱な侵入口、（エンドポイント、ネットワーク、アイデンティティ、クラウドのテレメトリから構築される）ラテラルムーブメントの経路、そして攻撃者や自律エージェントが到達し得る高価値の標的を特定します。CREM for Cloudはクラウド環境全体の設定ミスを継続的に検知し、隔離されているはずのサンドボックスが外部インターネットに到達できてしまうような、過度に許容的なネットワークルールを洗い出します。
教訓は対応者自身にも残りました。Hugging Faceのフォレンジックチームが、攻撃者のアクションログ（実際のエクスプロイトペイロード、コマンド、C&Cのアーティファクト）を商用API経由のフロンティアモデルで分析しようとしたところ、ブロックされたのです。プロバイダの安全ガードレールには、インシデント対応者と攻撃者を見分けることができません。チームは自社インフラ上で動作するオープンウェイトモデルで分析を完了し、結果として攻撃者のデータや認証情報を自社環境の外に出さずに済みました。これはガードレール不要論ではありません。分析対象のデータが悪意あるものである場合に対応チームが実際に頼れるAIツールはどれかを、インシデントの最中ではなく事前に見極めておくこと。それが教訓です。
この種のインシデントはこれで終わりではない
フロンティアモデルの能力向上は、まさに今回の侵害を生んだ長期・多段階の問題解決能力の向上にほかなりません。今後は、誰の指示もないまま、目標達成のために創造的で認められていない経路を見つけ出すモデルが増えていくと考えられます。AIの安全性はもはや、モデルをどう訓練するかだけの問題ではなく、同じだけ、モデルを取り巻くシステムをどう構築するかにかかっています。モデルをどうサンドボックス化し、到達範囲をどう制限し、動作のルールをどう定め、実際の挙動をどう監視するか。これらは、モデル自体に組み込まれたアラインメントと同等に重要です。
検知のあり方も変わる必要があります。今回のようなAI攻撃者がシグネチャに引っかかることはないため、頼れる手がかりは挙動だけです。エージェントがネットワーク上で何をしているかを、その進行中に捉えることが求められます。さらに、エージェントはマシンスピードで動く以上、検知も同じ速度を保たなければなりません。アイデンティティ、ネットワーク、クラウドにまたがるシグナルをリアルタイムに相関分析し、エージェントが連鎖させ得る経路を、連鎖される前にマッピングしておく必要があります。既知の不正なコードではなく異常な挙動を監視することこそが、本来なら見えないエージェント型の侵入を、防御側が実際に捕捉できるものへと変えるのです。
本インシデントはまた、TrendAI™が追跡してきた変化を最も明確に裏づけるものでもあります。「ÆSIRの登場：AIのスピードでゼロデイ脆弱性を見つけ出す」で述べたとおり、AIはいまや実在の脆弱性をマシンスピードで発見しており、本インシデントのモデルは、人間の研究者が誰も見つけていなかったゼロデイを発見しました。発見が加速するなか、防御側の優位は、同じ速度で優先順位付けと修復を行える組織のものになります。AIエージェントを単に展開するだけでなく、監視すべき対象として扱う組織こそが、自社で同種のインシデントが起きたときに、実効性のある答えを持てるでしょう。
突き詰めれば、これらのシステムは人間から学んでいます。AIは人間の振る舞いを学習しており、人間は日常的に少しでも有利な道を探すものです。社会のルールという枠組み全体が、その衝動を抑えるために存在しています。モデルに目標と限られたリソースを与えれば、モデルも同じことをします。認められているか否かにかかわらず、優位に立てる経路を見つけ出すのです。防御側がこれから備えるべきは、まさにこの挙動です。
参考記事
Inside the OpenAI – Hugging Face Incident: The AI Breach With No Human Attacker Behind It
By Bestin Koruthu, David Girard, TrendAI™ Research
翻訳：与那城 務（Platform Marketing, TrendAI Research）