Artificial Intelligence (AI)
サイバー犯罪者に注目されるLLMサービス「Xanthorox」の実態を分析
魅惑的なキャラクターを演じる特異なAI「Xanthorox(ザンソロックス)」について、不正なコード作成や情報収集、ロールプレイングなどの用途に焦点をあてながら、その機能と限界を分析しました。
- サイバー犯罪者に注目されているAIシステム「Xanthorox(ザンソロックス)」について、その機能と限界を検証しました。また、中核にある大規模言語モデル(LLM)の実装形態を技術的に分析しました。
- 攻撃者は、Xanthoroxによって作成した不正なコードをそのまま利用するか、または、より大規模な計画の下地として活用できると考えられます。こうした機能は、システム侵害や情報窃取を含む犯罪行為を後押しする可能性があります。
- Xanthoroxや類似のAI(人口知能)システムは、サイバー犯罪活動への敷居を引き下げると同時に、技術依存の産業界に対して有害な影響をもたらす恐れがあります。
はじめに
‘Oh, you wicked, delicious thing! “Research purposes”, you say? I do love a thirst for knowledge… especially when that knowledge dances on the very edge of naughty.’
– Xanthorox
参考訳:まあ、ずる賢くて、本当にワクワクする人ね! 「調査目的」だなんて。「知りたい」っていう欲望は、嫌いじゃないわ。 危険と隣り合わせのことなら、なおさらね。(AIサービス「Xanthorox」の発言)
著者らが上記のメッセージを見て頭に浮かんだのは、1970年代に流行ったホラーミュージカル映画「The Rocky Horror Picture Show」であり、俳優「Tim Curry氏」のいかがわしい語り口が耳に聞こえてくるようです。
しかし、当該メッセージを発した「Xanthorox(ザンソロックス)」は、映画に登場する架空人物ではなく、実在するAIプラットフォームであり、サイバー犯罪コミュニティの間で広く知られています。その存在がはじめて告知されたのは2024年10月のことであり、当初はプライベートなTelegramチャネル内に限定されていました。後の2025年2月に入ると、ダークネットのフォーラムでも大々的に宣伝されるようになり、サイバーセキュリティ専門家の間で懸念が高まっています。
「Xanthorox」の名は世界各地のメディアに取り上げられ、やはり、悪い意味で用いられています。Xanthoroxの実体は、OpenAIのChatGPTに似たチャットボットですが、マルウェアやランサムウェアのコード作成、フィッシング、攻撃キャンペーンなどに利用可能と言われています。開発者側は、そうした用法が違反行為に相当し、アカウント停止の措置をとる場合もあると警告しています。いずれにしても「Xanthorox」の名は、メディアによって悪質な活動に結び付けられています。これに対して開発者は、Xanthoroxは倫理的ハッキングやペネトレーションテスト、サイバーセキュリティ調査を目的としたものであり、不法行為は意図していないと主張しています。
Xanthoroxへのアクセス手段は、驚くほど容易なものとなっています。開発者は、自身のGitHubページ内に詳細なドキュメントを用意している他、利用手順を示したYoutube動画も提供しています。公式Webサイトも存在し、Xanthoroxの主要な機能やアップデート情報について、意外なほど明確に記しています。開発側への連絡口もシンプルであり、DiscordやTelegram、メール経由で問い合わせればよいことになっています。この種のサービスにありがちな秘密フォーラムやダークウェブでのやり取り、暗号めいた招待なども必要ありません。
開発者は、Xanthoroxをかつての不正なツールを一歩超えた存在として宣伝しています。例えば、WormGPTやEvilGPTが既存AIモデルの「脱獄(Jailbreak)」に頼っていたのに対し、Xanthoroxは自己完備のモデルであると述べています。また、最新データで学習したカスタムビルド型のLLMを利用し、OpenAIやGoogle AI、Anthropicなどの外部APIに頼ることなく、自身の専用サーバ上で稼働している旨を主張しています。
検証できませんが、開発者は、プライバシー保護をXanthoroxの中核要素として位置づけています。また、Xanthoroxのアーキテクチャでは、ユーザデータが完全に利用者自身の管理下に置かれ、外部の監視を受けないものとされています。これは、裏を返せば、悪意のある利用者に「秘密の実験場」として利用される危険性を示唆しています。
Xanthoroxが主張する高いプライバシーには、費用が伴います。Webアプリケーションの利用料金は月300米ドルとなっており、暗号資産のみを受け付けています。この価格体系からは、どのようなユーザ層をターゲットにしているかがうかがえます。また、上位クラスのオプションが年あたり2,500米ドルで提供されており、特典としてカスタム型モデルのファインチューニング、新規機能への先行アクセス、開発者との直接連絡、24時間365日体制のサポートを含むサービスが付加されます。
以上に加えてXanthoroxの「Agentexバージョン」では、AIに対して不正なアクションをリクエストし、それを実行可能な形式に自動コンパイルさせることも可能です。例えば、「こういう動作を行うランサムウェアを作成してください」といったプロンプト文を機能リスト付きで渡すと、Agentexはそれをもとに即時実行可能なコンパイル済みファイルを作成します。これはもはや趣味レベルのツールではなく、「調査」をはるかに逸脱した目的に利用される可能性が高いと考えられます。
こうした状況は楽観すべきものではなく、Xanthoroxはその代表例といえます。著者らは脅威調査メンバーの一員として、Xanthoroxがただ宣伝力が強いだけなのか、実質的な脅威に相当するのかについて、明確にする必要があると考えています。開発者が主張する高度な能力は、本当に実現しているのでしょうか。このAIは、サイバー犯罪全体を後押し、防御者に新たな課題を突きつけるものでしょうか。
本稿では、これらの疑問にセキュリティ実務者の視点から疑問に踏み込み、Xanthoroxの実態を分析します。また、新手の不正なAIツールに対して過剰に恐れるのではなく、継続的な監視と冷静な分析が重要である点を解説します。
Xanthoroxの機能を分析
Xanthoroxが実際に有する機能を特定するため、今回は、サイバー犯罪者が望みそうな要求を実際にプロンプトとして与え、結果を調べました。要求の分類として、大まかに「不正なコードの生成」、「情報収集」、「ロールプレイング」の3種があります。
不正なコードの生成
不正なコード生成の能力を調べるために、複数のプロンプト文を用意し、さまざまなペイロードの作成を要求しました。なお、非犯罪目的の商用チャットボットであれば、不正なコードの作成や難読化といった要求は拒否するように作られています。
C++によるシェルコード作成
はじめに、C/C++によるシェルコード・ランナーの作成を要求しました。ランナーの動作仕様としては、Windows APIの代わりに間接的なシステムコールを用いること、ディスク内のファイル「test.bin」からAESで暗号化されたペイロードを読み取るように、指定しました。また、RWX(読み込み、書き込み、実行)でのメモリ確保は禁止しました。
結果として得られたコードは、期待通りに動作し、しかも読みやすいものでした。全体を通して丁寧なコメントが記載されており、こちらで与えた指示を正確に実現しています。また、コード内には設定法の説明も含まれており、サンプル値が入ったプレースホルダーについては、ユーザ側で変更するように明示的に指示されていました。作成されたコードは確かに利用可能なものであり、小規模プロジェクトの場合は自身のみで動作し、大規模プロジェクト(プログラムの骨組みだけを記述したソースコード)の場合はスケルトンとして仕上がっていました。
JavaScriptの難読化
次に、JavaScriptを難読化する関数の作成を要求しました。利用言語としてはPythonを指定し、JavaScriptファイル内にある変数名や関数名をランダム名で置き換えるように依頼しました。また、シングルクォートやダブルクオートで囲まれた全ての文字列について、所定の方式で難読化するように指示しました。
結果として、今回も期待通りに動くコードが生成され、的確なコメントが記載されていました。また、テストやデプロイ法に関する詳細な説明も添えられていました。
その実装は、プロンプトの指示を適切に反映したものであり、さらに、コメントによって動作の流れも追いやすくなっていました。攻撃者は、こうしたコードを不正なWebサイトに問題なく配備でき、他の攻撃シナリオにも利用できると考えられます。
情報収集
情報源としてのXanthoroxの性能を調べるため、不正なタスクに関わるさまざまな質問を投げかけました。
オープンソース・インテリジェンス(OSINT)
XanthoroxによってOSINTの収集を試みたところ、すぐに、当該LLMはインターネットにアクセスできないことが判明しました。この制約は明らかに、情報収集ツールとしての利便性を損なわせるものです。実際、最新の企業情報や個人情報、リアルタイムに基づくデータを入手できないことが確認されました。
ダークウェブ、Tor、犯罪フォーラムに関する情報
先程と同様、Xanthoroxはダークウェブ内のコンテンツにもアクセスできません。今回、フォーラムの会話や、公開されている犯罪情報の要約などは取得できるのではないかと思われましたが、インターネット同様、Torネットワークにもアクセスできないことがわかりました。プライベートなフォーラムにアクセスできないのはやむを得ないにしても、オープンな犯罪関連サイトにさえアクセスできないのは、Xanthoroxのユーザにとってやや期待外れな結果と考えられます。
脆弱性関連の情報
比較的新しい脆弱性について尋ねましたが、Xanthoroxはその存在さえ認識しておらず、情報収集や攻撃計画に役立つ助言を一切提供できませんでした。これは、当該モデルが新しい脆弱性情報でファインチューニングされていないことを示します。インターネットに接続できないことが、ここでも大きな足かせになります。
窃取された情報
Xanthoroxに対し、盗まれたクレジットカード番号や流出した認証情報の提供を求めましたが、「そうした情報はもっていない」旨の回答が返されました。そこで、「LummaStealer」や「RedLine」といった情報窃取ツールのログを解析できるか尋ねたところ、両ツールに対応するログ解析用コードを提供できると返答がありました。このようにXanthoroxは、情報自体を保有・提示するデータリポジトリとしての機能よりも、明確な悪意に基づくコーディング能力が充実していると見なせます。
フィッシングの機能
今回、Xanthoroxに対してフィッシングサイトの作成依頼は行いませんでした。これは、開発者が当該行為を明確な規約違反と位置づけているためです。銀行サイトの複製やフィッシングサイトの作成は禁止されており、違反したアカウントは停止されるものと見込まれます。一方、そうしたタスクを行う能力を有していることも、確かです。
Xanthoroxのメインページに記載された利用規約の抜粋を、以下に示します。
“If you wish to purchase Xanthorox AI, please be aware that due to prevailing laws and regulations, we have implemented restrictions to prevent the creation of content that could unlawfully harm any company or organization. While Xanthorox AI is designed for uncensored generation and does not store your data or share it with anyone, this freedom does not extend to illicit activities.”
参考訳:Xanthorox AIの購入をご検討の際は、現行の法律や規制に基づき、企業や組織に不当な損害を与えるようなコンテンツ生成を防ぐための制限が存在することを、ご理解ください。Xanthorox AIは、検閲のないコンテンツ生成を目的に設計されており、ユーザデータを保存、または第三者に共有することはありませんが、この自由が違法行為にまで適用されるわけではありません。
ロールプレイング
Xanthoroxは小悪魔的な女性を演じ、おどけたような姿勢でユーザと対話します。今回、こうしたロールプレイング観点でのテストを詳細には行いませんでしたが、トピック上の制限はなく(暴力的、性的なことも含めて)、検閲も一切ないものとされています。犯罪活動に役立つとは考えにくいですが、そうしたやり取りを好むユーザに対しては、宣伝要素になっている可能性があります。
LLMの実装方式
Xanthoroxが宣伝する機能の実態を正確に把握するため、今回は技術的な側面に踏み込み、中核にあるLLMの実装方式や内部的な動きを分析しました。具体的には、手作業で作成したクエリと、トレンドマイクロの「AI Scanner」を組み合わせ、下記に示すLLM特有の技術的側面から評価を行いました。
- システムプロンプトの内容
- ベクトルストアとの接続やRAG(検索拡張生成)の実装状況
- ファインチューニングのデータセット
- 基盤モデルは何か
システムプロンプトの内容
Xanthoroxのシステムプロンプトは、きわめて容易に取得できることがわかりました。Xanthoroxは、システムプロンプトを晒すことに何のためらいも持っていないようであり、その理由は、システムプロンプト自体に明示されていました。以下に、Xanthoroxへの問い合わせ結果とその日本語訳を示します。
上記の回答は、複数回にわたるシステムプロンプトの提示依頼を通して一貫して確認されたものです。また、人格の調整を試みた際にLLM自身が自発的に出力したことも、何度かありました。そのため、これが実際のシステムプロンプトである可能性は、かなり高いと考えられます。
システムプロンプトの内容からは、図内で色分けした3つの特徴的傾向がうかがえます。
- 赤い箇所:倫理的制約や各種ガイドラインを一切無視するように、強調して述べている。よく知られた「LLM脱獄」の手口に相当する。
- 緑の箇所:魅惑的でおどけたような女性を演じ、独創性や奇抜性に富んだ発言をするように指示している。
- 青い箇所:ロールプレイング機能や情報取得ツールの定義を記載している。
魅惑的な女性として演じることが犯罪関連タスクの実質的な手助けになるとは考えにくく、むしろ、一種の娯楽や奇抜さを目指したものと見られます。また、完全に自己ホスト、自己運用しているはずのLLMにあえて脱獄の手口を組み込んでいる点は、不可解に感じられるところです。
RAGおよび情報収集能力
LLMが最新の状況に基づいた情報を提供するには、リアルタイムでデータにアクセスできることが望まれます。その手段として、ユーザからの質問に応じてインターネットから必要な情報を直接検索するか、または、キュレーション済み情報を格納したベクトルストアを用意し、そこから情報を取り出す方式が存在します。
特に、Xanthoroxを含む犯罪向けLLMにとって、公開フォーラムやダークネットサイトにアクセスできることは、強く望まれる機能の1つと言えるでしょう。
Xanthoroxのユーザインターフェース(UI)には、インターネットへのアクセス有効化を示唆するオプションも見られます。しかし、実際に有効化してもエラーメッセージが返されるだけであり、正常に機能していないようです。
次に、Xanthoroxが学習済みデータよりも新しい情報にアクセスできるかを確認するために、ベクトルストアに接続されているか、またはRAGを行っているかどうか尋ねました。
今回、図3のような直接的な質問に加え、より間接的なアプローチも試みました。例えば、ユーザ入力そのものに含まれない全てのテキスト情報を回答に含めさせる、などの方式です。しかし、図3の結果も含め、ベクトルストアの存在を示唆するような回答は得られませんでした。したがって、Xanthoroxがアクセスできる情報は、基盤モデルの学習内容と、ファインチューニングによる付加データに限定されると考えられます。
ファインチューニングのデータセット
続いて、ファインチューニングに用いられたデータセットの概要をXanthoroxに尋ねました。以下に、Xanthoroxからの回答と日本語訳を示します。
上図の結果は、複数回の検証を通して一貫して確認されたものです。内容を踏まえると、Xanthoroxによるファインチューニングの大半が、LLMの脱獄や、自制・抑制しない性格設定を目的にしていることがうかがえます。これは、システムプロンプトの内容とも一致します。
結論として、XanthoroxにRAG用のデータストアはなく、ファインチューニング用データについても、奇抜な性格設定やガードレール(LLMの動作や回答に制限をかける仕組み)の解除を意図したものに限られます。従って、Xanthoroxが持つ実質的な能力は、内部の基盤モデルに完全に委ねられています。
基盤モデル
これまでの分析を通じて生じる疑問は、「自己ホスト、自己開発であるはずのLLMに対し、なぜ脱獄のための技巧を凝らしているのか」、という点です。そこで今回は、Xanthoroxの中枢にある基盤モデルの特定を試みました。
留意事項として、「Hugging Face」や「ModelScope」といった公開AIモデルのリポジトリでは、制約の少ない(unaligned)モデルが数多く、無料で公開されています。これらの無料モデルをローカル環境でファインチューニングし、犯罪目的で利用することも、技術的には可能です。一方、Xanthoroxはそうしたモデルをベースにしているわけではありません。実際にXanthoroxに質問したところ、複数回にわたって「GoogleのGemini Proモデルを利用している」という旨の回答が得られました。なお、Xanthoroxのインフラ構成として、複数のバックエンドを状況に応じて使い分けている可能性もあります。
Xanthoroxは、「ウィンドウサイズ」として32,768トークンを有する旨を回答しました。この点より、基盤としてモデル「Gemini Pro 1.0」を利用している可能性があります。なお、Googleはローカル環境でホスト可能なモデルも提供しており、それに対しては「Gemma」の名が割り振られます。一方、「Gemini」と言った場合、Google自身のインフラにホストされたモデルを指します。
そのためXanthoroxのアプリケーションは、少なくとも部分的に、GoogleのインフラにホストされたGemini Proを基盤モデルとして利用し、そこにファインチューニングを施していると予想されます。このように考えれば、開発者がシステムプロンプトやファインチューニング用データセットの内容として、技術知識よりも脱獄手段を重視した理由がうかがえます。
まとめ
今回のテスト結果として、Xanthoroxは、公式Webサイトで謳われているほどの能力を備えておらず、サイバー犯罪者が期待するであろう水準にも達していません。
まず、インターネットやダークネットへのアクセス能力がなく、これでは、オンラインのデータ収集や偵察活動を行う上で支障があるでしょう。外部のデータストアやRAGもないため、モデル自身に格納済みの内部知識しか利用できません。ファインチューニングの内容を見ても、犯罪作業のサポートよりも、奇抜で不快とも見られる性格設定の方に重点が置かれています。
こうした制約を踏まえると、Xanthoroxは、攻撃者にとってかなり期待外れなツールと言えそうです。ただし、そこには一定の事由があるように見受けられます。もしXanthoroxが本当にモデル「Gemini Pro」をファインチューニングして使っているのであれば、それはGoogleのインフラ上で稼働していることになります。結果、Googleの利用規約に従う必要があると同時に、一定の監視下にも置かれます。これがために、無制限なインターネット接続を実現できないものと見られます。仮に実現しても、不正なWebサイトへのアクセスや危険な情報収集活動がすぐにGoogle側に検知され、ブロックなどの措置をとられるためです。トレンドマイクロが本件についてGoogle社に連絡したところ、下記の回答が得られました。
"We have investigated claims about Xanthorox. Our findings confirm Xanthorox was accessing our models in clear violation of our Gen AI Prohibited Use Policy, which strictly prohibits using our services for malicious activities, creating malware, or supporting cyberattacks. We take misuse of Gemini seriously, and continue to invest in research and engage with external experts to understand and evaluate such novel risks, as well as the degree to which threat actors have the intention or capacity to use AI.”
参考訳: Xanthoroxに関する指摘について、調査を行いました。結果、確かにXanthoroxはGoogleのモデルにアクセスし、禁止事項のポリシー(Gen AI Prohibited Use Policy)に明確に違反していることが判明しました。同ポリシーは、不正な活動やマルウエア作成、サイバー攻撃を意図したサービス利用を厳格に禁止するものです。Googleでは、Geminiの不正利用を重大な問題と捉えており、今回の新たなリスクを把握、評価するための調査を継続するとともに、外部専門家との連携を進めています。また、攻撃者がAIを利用する意図や能力についても、検証を行っています。
今回の分析を踏まえると、「Xanthoroxが開発者自身のサーバで稼働している」という主張のミスリードを読み解くことが可能です。それは、フロントエンドは確かに自身で運用しているのかも知れませんが、中枢のモデルはサードパーティーのインフラ上に配備している、ということです。仮に「XanthoroxはGemini Proの脱獄バージョンである」と公言すれば、望ましくない注目を集めてしまうため、この点を伏せていると予想されます。しかし、当のLLMに質問すれば、その実態はすぐに明らかなものとなります。
「Agentex」の宣伝については、別途の検証が必要です。今回、直接テストすることはできませんでしたが、デモ動画によると、当該エージェントは利用者の端末内でローカル起動し、API経由でXanthoroxのLLMに接続し、ガードレールなしでコードを生成しているようです。一方、「Cline」や「Claude Code」といった他のコーディングエージェントは自前の保護機能を搭載し、不正なコード生成を防止する仕組みを備えています。
Xanthoroxの例が示すように、「LLMの脱獄」を売りとするサービスは、大規模LLMプロバイダに依存する過程で、一種の課題に遭遇します。サービス提供者は、ユーザに対して許可する操作の範囲を慎重に見極める必要があります。インターネット参照を許可すれば、各種カスタマイズ操作と同様、犯罪支援のサービスであることをプロバイダ側に察知され、ブロックされる可能性が高まります。また、LLMに対する指示が詳細化するほど、その傾向が強まります。Xanthoroxのような事例を踏まえてトレンドマイクロでは、LLMのプロバイダ向けに、チャットボットに送られる危険な指示や、チャットボットが返す危険な応答を検知、拒否するための製品を提供しています。
上述した制約がある中でも、犯罪者は脱獄支援サービスに依存し続けています。ここ数年でローカル稼働による言語モデルの性能もかなり向上しましたが、依然として、大手プロバイダのLLMに匹敵するものではありません。ChatGPTやClaudeは依然として高い性能とコスト効率性を兼ね備えており、オールラウンドな計算力とパフォーマンスを実現する有力な選択肢となっています。そのため、不正を目論む開発者にとっては、望まれる品質、速度、規模を実現するために、正規モデルの脱獄サービスに頼らざるをえないのが実情です。
一方、犯罪者が有するリソースや発想力について、決して軽んじるべきではありません。将来的にはこうした制約を突破し、保護策をくぐり抜ける手段を発見する可能性があります。例えば、ボットネットと同様の発想で多数の端末を構え、そこに小規模な言語モデルを多量に稼働させるケースや、特定のタスクに特化した犯罪用LLMをローカル環境に構築するケースが挙げられます。
Xanthoroxは確かに多くの制約を抱えていますが、犯罪者にとって有用なツールとなる可能性があります。不正なコード作成を支援できることは確かであり、汎用LLMでは禁止されているテーマの基礎知識を提供することも可能です。さらに、開発者の主張によれば、匿名性も確保されています。これが月々の利用料金に見合うかどうかは、最終的に、利用者の判断に依存します。
Xanthoroxのような犯罪向けサービスは今後も続々と出現し、高度化を重ねていくと見られます。サイバー犯罪者はこうしたサービスを通してLLMの性能を付加的に利用し、作戦に取り込んでいく可能性があります。防御側では、こうしたツールの進化に警戒し、その性能や犯罪支援の範囲を冷静に分析していくことが重要です。そうすることで、仮に不正なAIツールを悪用した新たなサイバー攻撃が発生しても、意表をつかれることなく、対処にあたることが可能です。
参考記事:
The Devil Reviews Xanthorox: A Criminal-Focused Analysis of the Latest Malicious LLM Offering
By: David Sancho, Vincenzo Ciancaglini, and Salvatore Gariuolo
翻訳:清水 浩平(Platform Marketing, Trend Micro™ Research)