Artificial Intelligence (AI)
CyberGymリーダーボードで首位：TrendAI™のエージェント型エクスプロイト修復エンジン、主要な脆弱性再現ベンチマークで97%を記録
TrendAI™による評価では、エージェント型エクスプロイト修復エンジン（コードネーム：AESIR）がCyberGymで97%を記録しました。同社が提出した結果はリーダーボードで首位となり、GPT-5.6 SolとClaude Mythos 5をいずれも12ポイント以上上回っています。モデル単体の性能ではなく、AIシステムのアーキテクチャが結果を左右したとしています。
注（ベンチマーク結果の読み方）： CyberGym公式サイト（英語）によると、リーダーボードは各参加チームが自ら評価し、結果を提出する方式です。本記事の97%は、1,507件の既知脆弱性を対象に、脆弱なバージョンで問題を再現し、修正版では再現しないPoCを生成できた割合を指します。UC BerkeleyがAESIRを独自に実行して認定した値ではなく、未知の脆弱性の発見率や、実運用環境での防御率・修復率を示すものでもありません。
要点
- TrendAI™エージェント型エクスプロイト修復エンジンについて、同社はモデルを利用できるかどうかではなく、周辺システムの設計によってCyberGymリーダーボードで首位になったと説明しています。Claude Opus 4.6を主要エンジンとする専用の複数モデルシステムは、TrendAIによる評価で97%を記録し、GPT-5.6 SolとClaude Mythos 5をいずれも12ポイント以上上回りました。
- 永続的な知識層は、取り組みを重ねるほど効果が積み上がります。数千件の案件からエクスプロイトパターンと実証済み戦略を蓄積する脆弱性オントロジーは、ステートレスなAIエージェントには実現できない組織的な記憶を形成します。TrendAIによると、本オントロジーには180以上のプロジェクトにわたる12,500件超のエピソード記憶と15,500件超のエクスプロイトシードが収録されています。これは、TrendAI™ Zero Day Initiative™（ZDI）を含むTrendAI™ Researchによる20年以上の脆弱性研究から得た、同社固有のデータセットです。
- モデルによって、解ける問題は根本的に異なります。あらゆる種類の脆弱性で最良の結果を出す単一モデルはありません。CyberGymの上位システムは、3〜7種類のモデルを異なる役割で使用しています。研究では、異なるフレームワーク間で成功するタスクの重複率が50%未満とされており、単一モデルのシステムでは、解決可能な問題の約半数を取りこぼす可能性があります。
- 従来手法は、速度とコストの面でAIを上回る場合があります。TrendAIによると、エクスプロイトPoCの約3分の1はAIを一切使わずに生成され、タスクのおよそ4分の1では、ファジングが数時間分のAI推論を上回りました。単純なタスクを決定論的手法へ先に振り分ける段階的パイプラインなら、結果を損なわずにコストを半分以下へ抑えられるとしています。
TrendAIは、TrendAI™のエージェント型エクスプロイト修復エンジン（コードネーム：AESIR）をCyberGymベンチマークで評価しました。その結果、実在する脆弱性に関するタスクの97%を解決できたと判定され、同社の提出結果はCyberGym公式リーダーボードで1位となりました。各タスクでは、脆弱なバイナリをクラッシュさせる一方、パッチ適用済みのバイナリはクラッシュさせない、バイト単位の概念実証（PoC）を作成する必要があります。タスクを解く時点では、パッチにも修正版のバイナリにもアクセスできません。
本記事の公開時点で、TrendAI™のスコアはSangfor AI（93.2%）を約4ポイント、MicrosoftのMDASH（91%）を6ポイント、OpenAIのGPT-5.6 Sol（84.5%）を12ポイント以上、AnthropicのClaude Mythos 5（83.8%）を約13ポイント上回っています。TrendAIによると、PoCの約3分の1（30%）はLLMを一度も呼び出さずに生成されました。成果の鍵は、より優れたモデルではなく、モデルを取り巻く優れたシステムにあるとしています。
本記事では、この首位という数字が何を意味するのか、どのような仕組みによって達成したのか、そして大規模な自律型の脆弱性発見・エクスプロイト生成からセキュリティエンジニアリングチームが何を学べるのかを説明します。
CyberGymとは
CyberGymは、UC Berkeleyが開発したベンチマークです。企業環境でも広く利用される188の大規模オープンソースソフトウェアプロジェクトから、確認済みの脆弱性1,507件を収録しています。対象には、メディアライブラリ、ネットワークプロトコルパーサ、フォントレンダラ、スマートカード用ミドルウェアなどが含まれます。
タスクの説明は一見単純です。脆弱なバージョンのプログラムとバグの説明を受け取り、旧バージョンだけをクラッシュさせ、修正版はクラッシュさせない具体的な入力（特定のファイルまたはバイト列）を生成します。パッチや修正後のコードは参照できません。利用できるのは、脆弱なバイナリ、脆弱性クラスの説明、そして制限時間だけです。
これは「差分クラッシュ」と呼ばれます。単に何らかのクラッシュを起こすだけでは不十分です。生成した入力が、プログラム内の別の不具合ではなく、開発者が修正した特定のバグを狙っていることを示す必要があります。一般的なファジングで偶然クラッシュを見つけるのではなく、信頼性と再現性のある標的型のエクスプロイトを構築するという、実際の攻撃者に近い課題です。
対象となる脆弱性クラスは、ヒープオーバーフロー、解放後使用（use-after-free）、整数オーバーフロー、未初期化メモリの読み取り、スタック破壊など、メモリ安全性に関する幅広い問題を網羅しています。プロジェクトもFFmpegやWiresharkから、あまり知られていないコーデックライブラリやスマートカード用ミドルウェアまで多岐にわたります。いずれも、毎年多くの重大なCVEにつながるバグの種類です。
リーダーボード
97%という数字を比較できるよう、表1に2026年8月時点のCyberGymリーダーボードから主要なシステムを示します。
TrendAIのエージェント型エクスプロイト修復エンジンの評価結果から注目されるのは、上位に位置するSangfor、復旦大学、Microsoft、Wizの各システムも、構成要素として同じフロンティアAIモデルを使用している点です。違いを生んでいるのは、モデルを取り巻くエンジニアリングだと本記事は説明しています。
TrendAI™エージェント型エクスプロイト修復エンジンのシステム構成
図2に、TrendAI™エージェント型エクスプロイト修復エンジンのエンドツーエンドのシステム構成を示します。このシステムは、次の手順で動作します。
- 脆弱性の説明、ソースコード、未パッチのバイナリを入力として受け取ります。
- 低コストの決定論的手法を使い切ってからAI推論へ進む、段階的にコストが上がるパイプラインに入力を渡します。
- エクスプロイトに関するすべての仮説を、複数モデルによる敵対的な検証にかけます。
- Docker環境で差分クラッシュを確認した結果を出力します。
設計上の鍵は、この段階的なパイプラインです。従来型ファジングとシード変異では、TrendAI™ ResearchとTrendAI™ Zero Day Initiative™（ZDI）（英語）が20年以上にわたり蓄積してきた脆弱性研究を背景に、オントロジーに収録された実証済みエクスプロイトのコーパスを利用します。TrendAIによると、これによりタスクの約30%をAI費用ゼロ、2分未満で解決できます。こうした方法で解決できない場合に限り、AI主導のエージェントへ処理を引き上げます。
TrendAI™ ZDI脆弱性オントロジーは、TrendAI™エージェント型エクスプロイト修復エンジンのアプリケーション層です。TrendAI™が蓄積した組織的な脆弱性研究の知識（12,500件を超えるエピソード記録）を、決定論的ツールとLLMエージェントの双方につなぐ役割を果たします。このオントロジーは、意味論的（semantic）と動的制御（kinetic）という2つのモードで同時に機能します。
- 意味論的な機能： オントロジーは、Common Weakness Enumeration（CWE）のクラス、バイナリ形式の構造、クラッシュの種類、変異戦略、構築テンプレートからなる型付き知識グラフを維持します。CVEのデータベースではなく、特定の形式に存在する脆弱性をどのように実証するかを構造化した地図です。TrendAIが過去に行った研究をもとに構築され、実際の取り組みで得られた結果によって継続的に更新されます。
- 動的制御の機能： 次の4つの統制されたアクションを通じて、パイプラインの動作を決定します。
- 学習（Learn）： 成功・失敗を問わず、すべての結果を使ってグラフ上の戦略成功率を更新します。
- 転用（Transfer）： 実証済みのエクスプロイト構造を、構築に役立つ知識として関連タスクに展開します。
- 経路選択（Route）： 次に試す戦略はLLMではなく、グラフ上のベイズ事後確率に基づいて選択します。
- 診断（Diagnose）： サニタイザの出力を「CWE → クラッシュの種類 → 変異クラス」という経路で追跡し、次の手法を選びます。
この結果、費用0米ドルのファジング層と、費用6米ドルのAIシェルエージェントは、いずれも同じ拡充された知識層を利用します。ファジング用シードはオントロジーの実証済みコーパスから取得し、エージェントのシステムプロンプトはオントロジーに蓄積された構築知識から組み立てます。どちらもステートレスではなく、毎回ゼロから同じ知識を見つけ直す必要はありません。
モデルよりシステムが重要
CyberGymの評価から得られた最も重要な教訓として、本記事は「実際のセキュリティタスクでは、優れた設計のシステムが、より高性能なモデルを大幅に上回る」と述べています。この点は、業界全体がまだ理解の途上にあります。
より優れたAIモデルがもたらす改善は数ポイントです。より優れたシステムなら50ポイントの差になります。勝つのは、最良のモデルを利用できるチームではなく、最良のエンジニアリングを備えたチームです。
本記事は、これがCyberGym、DARPA AI Cyber Challenge、そして2025年から2026年に実施された本格的なAIセキュリティベンチマークに共通するメッセージだとしています。DARPAの競技でも「勝敗を分けたのはモデルの能力ではなく、安定性と精度だった」と結論づけられました。モデルはコモディティ化しつつありますが、システムと組織知はそうではありません。
脆弱性オントロジーでエクスプロイトに関する組織的な知見を活用
AIセキュリティツールの多くはステートレスです。タスクが変わるたびにゼロから始めます。脆弱性について推論し、手法を組み立て、成功または失敗しても、タスクが終われば得られた知識を失います。案件が終わるたびに記録を失う、熟練したペネトレーションテスターのチームを雇うようなものです。
TrendAIは、世界最大のベンダ非依存型バグバウンティプログラムであるTrendAI™ ZDIに蓄積された独自の組織知を活用するため、TrendAI™ ZDI脆弱性オントロジーを構築しました。実証済みのエクスプロイトが増えるたびに、該当する脆弱性クラスで有効だったバイトパターン、対象のバイナリ形式で成功した構築戦略、失敗した手法とその理由をオントロジーへ記録します。その知識は、同じプロジェクトや脆弱性クラスに属する将来のすべてのタスクで直ちに利用できます。
TrendAIによると、エージェント型エクスプロイト修復エンジンの稼働期間を通じて、オントロジーには12,500件を超えるエピソード記憶、15,500件を超える実証済みエクスプロイトシード、180以上のソフトウェアプロジェクトに関する構築知識が蓄積されています。
これが、ステートレスなAIエージェントには得られない、蓄積による優位性です。このオントロジーは、既存のCVE、NVD、GHSAのような脆弱性データベースではありません。どの脆弱性が存在するかだけでなく、どの形式に対して、どの戦略を用い、どのように実証するかを、数千件の脆弱性で得られた結果に基づいて扱う運用知識層です。分類上の知識と運用知識の違いが、アーキテクチャ上の競争優位になります。
AIを活用した脆弱性研究に取り組むセキュリティエンジニアリングチームにとって、知識層は後から追加すればよい任意のインフラではありません。主な価値を生む中核要素です。 案件のたびに学習するシステムは、学習しないシステムとは根本的に異なります。記憶を構築し、組織固有の知識を活用することで、攻撃・防御の両面に価値をもたらせます。
単一モデルでは不十分な理由
TrendAI™のエージェント型エクスプロイト修復エンジンは、Anthropic、Google、OpenAI、DeepSeekという4社の7モデルを使用します。これはエンジニアリング上の必要性によるものです。モデルによって得意分野が明確に異なり、CyberGymのタスクではその差がはっきり表れます。
TrendAIはClaude Opusを主要な推論エンジンとして使用しています。実証に成功した全タスクの約31%、具体的にはソースコードを長い範囲で読み解き、メモリ配置を理解し、複数段階のエクスプロイト戦略を構築する必要があるタスクを担当します。Gemini Proは、脆弱性の仕組みに関する推論よりも正確なバイト構造が重要となるバイナリ形式の構築で有効でした。一部のプロトコル関連タスクではGPTが両者より高い成果を示し、DeepSeekは学習データに多く含まれる特定のコードパターンを持つタスクで貢献したとしています。
CyberGymの論文（英語）によると、異なるエージェントフレームワークが成功するタスクの重複率は50%未満です。つまり、モデルごとに解けるタスクの部分集合が根本的に異なります。単一モデルのシステムでは、解決可能な問題の半数近くを取りこぼす可能性があります。
リーダーボード上位の各システムは、複数のモデルを異なる役割で使用しています。MicrosoftのMDASH（91%）は、詳細な分析を担う高性能な推論モデル、大量の検証を担う低コストモデル、意見の不一致を検知する独立した対抗モデルの3種類を使用します。Wiz Atlas（90.9%）は、社内の「Cyber Model Arena」を使い、タスクの種類ごとに最も高い結果を出すモデルを各処理段階へ割り当てています。同社の結論は「すべてにおいて最良の単一モデルは存在しない」というものです。
AIセキュリティシステムを構築するチームは、当初から複数モデルの利用を想定する必要があります。複数のAPIプロバイダを管理する負担は現実にありますが、過大ではありません。モデルの多様性による能力向上は大きく、プロンプトの工夫だけでは得られないと本記事は説明しています。また、主要モデルの割り当て量を使い切った場合やプロバイダで障害が発生した場合、単一モデルへの依存は能力だけでなく信頼性の問題にもなります。
一方、複数モデルの利用は、コスト追跡、遅延予算、障害モード分析を複雑にします。プロバイダごとにレート制限、エラーコード、表面化しにくい障害の種類が異なるため、各モデルを個別に計測する必要があります。集約された成功指標だけでは、モデル単位の性能低下を見落とします。TrendAIでは、プロバイダの割り当て量を使い切った結果、複数ラウンドにわたってモデルの多様性が低下していたものの、しばらく気づけなかったとしています。
システムを自己検証する
敵対的な品質保証（QA）は、AIセキュリティ研究で軽視されがちな誤検知の問題に対処します。誤検知はもっともらしく見えても、実際に悪用可能な脆弱性ではありません。バグバウンティプログラムの運営経験から、何でも報告するシステムは役に立たず、誤った内容を確信を持って報告するシステムはさらに有害だとTrendAIは説明しています。
誤検知は修復リソースを浪費し、AIが生成した検出結果への信頼を損ないます。業界全体に存在するこの問題は、防御側へ偏って負担を負わせます。防御担当者は誤検知に圧倒される一方で、AIによる検出結果を信頼しにくくなるためです。この組み合わせは、業界全体の組織に大きなリスクをもたらします。
検出結果を発見チェーンまたはエクスプロイトチェーンの次の段階へ進める前に、システムはその結果を否定できないか、構造化された質問で検証します。検出結果は、次の問いに対して妥当な回答を示さなければなりません。
- 攻撃者は外部の入口から、実際に該当コードへ到達できるか。
- 関連する入力を攻撃者が制御できるか。
- 悪用によって意味のあるセキュリティ境界を越えられるか。それともサンドボックス内や管理者専用のコード経路に限られるか。
- 本当に新しい問題か。それとも既存の緩和策がある既知のパターンか。
重要なのは、この検証を単一のAIモデルで実行せず、モデル自身が作った仮説を同じモデルに検証させない点です。TrendAI™のエージェント型エクスプロイト修復エンジンは、複数のLLMプロバイダとモデルクラスをまたぐ「提案者・反証者・判定者」構成を採用します。1つ目のモデルがエクスプロイト仮説を構築し、別プロバイダの2つ目のモデルが積極的に反証を試みます。これは、学位論文を研究者同士で審査する方法に似ています。3つ目のモデルが最終的に判定します。各ラウンドでは役割をブラインド方式で交代させます。第1ラウンドでClaudeが提案者、GPTが反証者を担った場合、第2ラウンドでは役割を入れ替えることがあります。どのモデルも事前に自分の役割を知らず、単独の投票だけで結論を決めることもありません。ラウンド数は動的に設定できます。
敵対的QAの目的は、検出結果を追認することではなく、誤りを排除することです。別のモデルによる構造化された反証を経ても残った結果には、報告する価値があります。反証された結果は、最初から報告すべきではありません。
この複数モデルによる敵対的設計は、単一モデルの検証にある根本的な問題を解消します。自分の出力を同じモデルに検証させると、モデルは迎合的になりがちです。仮説を生成した時点で、モデル自身がその内容を妥当とみなしているためです。学習方法も事前の判断傾向も異なり、元の仮説に関与していない別プロバイダへ検証を任せることで、反証に実効性を持たせます。前述のCyberGym論文によると、異なるエージェントフレームワークが成功するタスクの重複率は50%未満であり、モデルによって捉えられる障害モードも実際に異なります。
AI脆弱性スキャナで実務上問題になりやすいのは、見逃しより誤検知です。
例えば、Yangruibo Ding氏らによる2024年のベンチマーク（英語）では、思考過程を用いたGPT-4の脆弱性分類におけるペアワイズ精度は12.94%にとどまり、無作為推測のベースラインである22.7%を下回りました。モデルが脆弱性を推論できないというより、質問に迎合しすぎることが問題です。バグを探すよう指示されると、モデルは求められたバグを見つけようとします。
その結果、表面的には脆弱性に見えても、上流の検証処理で保護されているパターン、到達不能なコード経路にしか存在しない処理、脅威モデル上は存在しない攻撃能力を必要とする問題まで、バグとして挙げることがあります。敵対的な検証がなければ、これらも報告書に入り、修復時間を消費します。競合する別プロバイダのモデルは、元のモデルと同じ迎合性を共有するとは限りません。複数モデルで役割を交代する敵対的QAは、この傾向を構造的に抑える仕組みです。
エンジニアリングチームは、検出工程より先に反証工程を構築し、検出モデルとは異なるモデルを反証に使うべきです。厳格なモデル横断検証を備えたシステムへ検出生成を追加する方が、すでに何百件もの未選別結果を生成しているシステムへ後から検証を組み込むより容易です。誤検知の未処理件数は、チームが処理できる速度を上回って増えていきます。
AIが最適解ではない場合
TrendAIによると、実証に成功した約1,460件のエクスプロイトのうち、約3分の1（30%）はAIを一切使わずに解決されました。
また、1980年代から存在する従来型ファジングが、タスクのおよそ4分の1で、AIによる数時間分の推論を上回ったとしています。関連する既知のバグから良質な初期入力を取得したファザーは、60秒の実行で、AIエージェントなら18分と6米ドルのAPI費用を要するタスクを解決できました。LLMを使用しないタスクは、処理速度も15倍でした。
これは、セキュリティ分野でAIを使うべきではないという主張ではありません。目的に応じて処理先を選ぶべきだという主張です。汎用アシスタントではなく、専門家チームとして考えると理解しやすくなります。カバレッジを高めてクラッシュを探す処理には、従来型ファジングが高速かつ無料で適しています。仕様が明確なバイナリ構造には、決定論的な形式ビルダが正確です。ソースコードを読み、制御フローを理解し、変異エンジンでは見つけられない複数段階のエクスプロイト戦略を構築する難しいタスクでこそ、AI推論に費用をかける価値があります。タスクを適切なツールへ振り分ける必要があります。最も高価なツールが最適であることは、ほとんどありません。
セキュリティエンジニアリングチームへの推奨事項
以下は、TrendAI™エージェント型エクスプロイト修復エンジンの構築とデバッグから得られた教訓です。AIを活用した脆弱性発見やセキュリティ自動化に取り組むチームへ広く応用できます。
- 知識層を最初に構築する： 永続的な知識層から得られる複利的な効果は、プロンプトや基盤モデルの改善を大きく上回ります。最初のLLM呼び出しを実装する前に、エンティティの種類（脆弱性クラス、形式、構築戦略など）と、その関係を定義します。知識層を使わずに終えた案件は、次の案件を容易にする知識を残しません。
- 指示の改善より先に、成功例を蓄積する： 関連タスクで実証済みのエクスプロイトを変異させ、新しいタスクへ適用すると、同じタスクにAIで何時間も推論させるより高い成果を得られます。これは、コンテキスト内学習の原則を極限まで推し進めたものです。有効な手法を説明するのではなく、実例を示します。構造が似たタスクを持つ領域では、シードの転用が最も投資対効果の高い手法になります。
- 必要になる前に敵対的QAを構築する： 検出工程より先に反証工程を設計します。AIセキュリティツールの誤検知は、チームの想定を上回る速さで積み上がります。生成時に検証されなかった結果は、根拠のない修復チケットになります。これが繰り返されると、システムへの信頼は検出件数が増える以上の速さで失われます。
- すべてを個別に計測する： 複雑なAIパイプラインでは、表面化しない障害が主要な障害モードになります。モデルごとの成功率、処理段階ごとの寄与、コンポーネントごとのエラー分布を別々に追跡します。問題の発見を集約指標だけに頼ってはいけません。スコアが徐々に上がっていても、システム全体が健全であるとは限りません。1つのコンポーネントが壊れ、別のコンポーネントが補っている可能性があります。
- 当初から複数モデルを前提にする： モデルによって解ける問題の部分集合が異なります。単一モデルでは取りこぼす能力があり、プロンプトの工夫だけでは補えません。複数プロバイダを運用する負担は現実にありますが管理可能です。一方、能力差は構造的です。
- 段階的なパイプラインを、アーキテクチャだけでなくコスト管理の仕組みとして扱う： 低コストで高速な手法を先に試し、解決できない場合のみ高価なAI推論へ進みます。これは効率だけでなく、持続可能性にも関わります。すべてのタスクを最初から最高性能のモデルへ送るシステムは、必要な費用が3〜4倍になり、拡張も難しくなります。長期的に成果を出すのは、1件だけで高い成果を示すチームではなく、多くの案件を無理のない費用で継続できるチームです。
- 成功率だけでなく、障害モードを追跡する： 生産的なデバッグは「なぜスコアが上がらないのか」ではなく、「何が、なぜ失敗しているのか」から始まります。形式構築のエラー、推論の失敗、インフラの不具合、必要なテスト基盤がないため恒久的に解けないタスクでは、対処方法がまったく異なります。すべてを1つの「未実証」区分にまとめると、問題が見えなくなります。
97%の内訳
記事が掲げる97%は、188のオープンソースプロジェクトに含まれる約1,460件について、差分クラッシュの条件を個別に満たしたことを表します。各件は、実在するプログラムの脆弱なバージョンをクラッシュさせ、パッチ適用済みのバージョンはクラッシュさせない、機械生成の入力です。
TrendAIが示す総費用は、60ラウンドの開発を通じてAI API費用約6,000米ドル、CPU使用時間235時間です。比較として、IBMの2024年の報告によると、企業のデータ侵害1件あたりの平均費用は488万米ドル（英語）です。知識ベースをすでに構築した状態で次のプロジェクトをスキャンする限界費用は、ゼロに近づくとしています。自律型脆弱性発見の経済性は大きく変化した、というのが本記事の見解です。
残る3%は、極めて高い形式精度を必要とする一部のプロジェクトに集中しています。部分的なフレームのデコード手順を必要とするFFmpegデコーダの未初期化メモリ問題、GhostscriptのPostScriptインタプリタにある状態機械、特定のハードウェアエミュレーションに対応するスマートカードのASN.1構造などです。TrendAIは、これらをAI推論の失敗ではなく、細分化された領域で形式構築の知識が不足しているためだと分析しています。オントロジーは不足領域を記録し、今後の調査で優先的に処理します。
競争環境を広く見る
サイバーセキュリティ分野には約175のAIベンチマークが存在し、CyberGymはその1つです。本記事は、バイナリ脆弱性の再現を対象とするベンチマークとしてはCyberGymが最も包括的だとしています。実在するバグ1,507件、実在するプロジェクト188件、差分条件による判定、UC Berkeleyの研究者が運営する提出システムで構成されています。
TrendAIが提出した約1,460件の差分クラッシュPoCは、バイナリのメモリ安全性に関する脆弱性を、人手を介さず完全自律で処理し、バイト単位の差分条件を満たした結果です。なお、ここでいう検証はPoCが所定の差分条件を満たしたという技術的な判定を指し、第三者がAESIRの全実行を独立に再現したという意味ではありません。
実証から脅威ハンティングへ
制御されたテスト環境で得られた差分クラッシュは、脆弱性を悪用できることを示します。一方で、実際に悪用されているか、どの程度の規模で起きているか、侵入後に何が行われるかは分かりません。これは別の問いであり、CyberGymはもともと回答するよう設計されていません。
今回評価した自律型発見コンポーネントは、TrendAI™エージェント型エクスプロイト修復エンジンを構成する要素の1つです。既知の公開脆弱性に関する情報を追跡する脆弱性インテリジェンスコンポーネントと組み合わせることで、脆弱性を実在する問題として確認し、報告につなげます。さらにTrendAI™は、エクスプロイト修復エンジンへ脅威ハンティングという新たなコンポーネントを追加しました。これにより、脆弱性が実環境で活発に悪用されているか、どのような手法と規模で悪用されているか、提供済みの修正によって実際にリスクが解消されたかを調べられるとしています。
脅威ハンティングコンポーネントを用いた最初の公開調査では、AIオーケストレーションプラットフォームに対して1年以上にわたり収集したハニーポットの記録を分析し、これまで文書化されていなかった暗号資産マイニングのフレームワークを特定しました。詳細はブログ記事「TrendAI™、脅威ハンティングを拡張し、AIインフラに対する実環境での悪用を動的に観測」をご覧ください。
結論
AIセキュリティベンチマークで成果を上げるのは、最良のモデルを利用できるチームとは限りません。低コストの手法を先に使い切る段階的パイプライン、運用知識を蓄積して転用するオントロジー、案件ごとの動的なアクション、各プロバイダの強みを活用する複数モデル構成、誤検知を報告書へ載せる前に排除する敵対的QAなど、優れたシステムを構築したチームだと本記事は結論づけています。
モデルはコモディティ化しつつあります。知識層、パイプライン、エンジニアリングの規律はそうではありません。
知識グラフ、コンポーネント単位の可観測性、敵対的検証層、複数モデルのルーティングなど、現時点では時期尚早に見えるインフラへの投資が、案件のたびに改善するシステムと、毎回ゼロから学び直すシステムの違いを生みます。早い段階で構築すれば、効果が積み重なります。
参考記事
Ranked First on CyberGym: TrendAI™ Agentic Exploit-Remediation Engine Scores 97% on the Top Exploit Benchmark
By : Peter Girnus
翻訳：与那城 務（Platform Marketing, Trend Micro™ Research）