Artificial Intelligence (AI)
生成AIチャットボットの回答から危険サイトへ誘導される事例を確認
トレンドマイクロの脅威リサーチャーによる調査では、生成AIチャットボットの回答に含まれる外部Webサイトへのリンク（URL）や、そのURLに付与されたUTMパラメータ、アクセス元のリファラー情報などを分析しました。その結果、生成AIチャットボットの回答を経由して危険サイトへ誘導される事例を確認しました。
はじめに
近年、ChatGPTやGeminiなどの生成AIチャットボットは、日常の情報検索や質問への回答など、さまざまな場面で利用されるようになっています。しかし、その利便性の一方で、AIが提示する回答（情報）の信頼性について注意すべき事例も確認されています。
トレンドマイクロの脅威リサーチャーによる調査では、生成AIチャットボットの回答に含まれる外部Webサイトへのリンク（URL）や、そのURLに付与されたUTMパラメータ、アクセス元のリファラー情報などを分析しました。その結果、生成AIチャットボットの回答を経由して危険サイトへ誘導される事例を確認しました。
危険サイトへ誘導される事例
ChatGPTやGeminiの回答から誘導された危険サイトの特徴
トレンドマイクロの調査では、2026年2月のテレメトリデータを分析した結果、ChatGPTやGeminiを経由して、少なくとも422件の危険サイトへの誘導を確認しました。これらの危険サイトには、以下のようなものが含まれており、詐欺関連の偽サイトへ誘導される可能性があるため注意が必要です。
- 偽ショッピングサイト
- 詐欺サイト
- フィッシングサイト
- 不正プログラム配信サイト
- 違法または禁止されたコンテンツ
ChatGPTの回答に含まれる参照URLには、自動的にUTMパラメータの「utm_source=chatgpt.com」が付与されることがあるため、ChatGPTの検索結果からの流入トラフィックを追跡・分析することができます。 また、アクセスログにアクセス元のリファラー情報が残っている場合もあるため、ChatGPTやGeminiなどの生成AIサービスからの誘導について調査することもできます。
なお、利用者がどのようなプロンプトを入力したかまでは確認できませんが、URL情報の分析の結果、生成AIチャットボットの回答を経由して、実際に危険サイトへ誘導されていることを確認しました。
ChatGPTの回答から危険サイトへの誘導
トレンドマイクロの脅威リサーチャーで検証を実施したところ、OpenAI社の次世代動画生成AI「Sora 2」について、ChatGPTに「Sora2の公式サイトのURLを教えてください。」と同じ質問を複数回繰り返した際に、「Sora2の公式サイトはこちらのURLです」として、公式サイトではない詐欺サイトのURLが提示される場合があることを確認しました。
これは、生成AIにおけるハルシネーション（誤った情報の生成）が発生している可能性があり、事実とは異なる情報が回答として提示されていました。さらに、その誤って提示されたURLは詐欺サイトであり、トレンドマイクロのテレメトリーデータの分析から、複数の利用者がChatGPTから同じ詐欺サイトへ誘導されていたことも確認しています。
その他、ChatGPTに特定の商品を販売しているWebサイトを教えるように指示したところ、ChatGPTの回答に偽ショッピングサイトへのリンクが含まれている事例を確認しました。これらの偽ショッピングサイトは、正規のオンラインショップやブランドサイトに似たデザインを使用していたり、公式の商品画像を流用している場合もあり、一見しただけでは偽サイトであると気付きにくいことがあります。生成AIチャットボットの回答を信用して偽ショッピングサイトを利用してしまうと、商品を注文しても商品が届かない、個人情報やクレジットカード情報が悪用されるといった被害につながる可能性があります。
ChatGPTが回答の中で偽ショッピングサイトを提示した要因として、攻撃者によるインターネット検索エンジンの検索結果を不正に操作するための攻撃手法（SEOポイズニング等）の影響が考えられます。攻撃者は、特定の偽サイトを検索結果の上位に表示させるためにインターネット上の情報を操作・汚染している場合があり、AIがそれらの情報を参照したことで、危険なサイトを含む誤った情報が生成された可能性があります。
インターネット検索結果のAIによる概要（AIモード）から偽ショッピングサイトへの誘導
近頃、インターネット検索を行うと、検索結果に「AIによる概要」が表示されるようになりました。これは、検索キーワードに関連する情報をAIが複数のWebサイトから整理し、要点をまとめて提示する機能で、利用者が短時間で情報を把握できる便利な仕組みとして利用が広がっています。
一方で、トレンドマイクロの調査では、この「AIによる概要」で紹介されるWebサイトの中に、偽ショッピングサイトが含まれている事例を確認しています。これについても、攻撃者によるインターネット検索エンジンの検索結果を不正に操作する攻撃手法（SEOポイズニングなど）の影響がある可能性が考えられます。
インターネット検索結果の「AIによる概要」は便利な機能ですが、必ずしも正確とは限らず、誤った情報が表示される場合もあります。また、紹介されるすべてのサイトが安全であるとは限りません。特にショッピングサイトを利用する際には、WebサイトのURLや運営者情報を確認するなど、基本的な安全確認を行うことが重要です。
その他の類似事例
海外のAIやセキュリティ専門家による共同研究では、生成AIチャットボットが「偽の電話番号」を回答として提示する事例も確認されています。これは、攻撃者が意図的にインターネット上の情報を汚染し、その情報をAIが参照または学習することで、誤った情報が生成されるためです。そのため、URLだけでなく、電話番号などの連絡先情報についても、その信ぴょう性を確認することが重要です。
まとめ
生成AIチャットボットは急速に普及しており、各サービス提供事業者によって安全性や回答品質の改善が継続的に行われています。多くの場面で、情報検索や文章作成の支援などにおいて有用なツールとして活用されています。
一方で、生成AIは確率的に文章を生成する仕組みであるため、実在しない情報や誤った内容を生成する「ハルシネーション」などが発生する可能性があることも知られています。AIが提示する情報やWebサイトが、必ずしも正確または安全であるとは限らない場合があるため、利用者側もこのような特性を理解したうえで適切に活用することが、安全で有効な利用につながります。
トレンドマイクロでは、今後もAIの利活用に関連する脅威やリスクの動向について、調査・分析を継続していきます。
被害に遭わないためには
生成AIチャットボットや検索エンジンのAI要約を利用する際は、以下の点に注意することが重要です。
- 生成AIはハルシネーション（誤った情報の生成）などが発生することを理解する：AIはもっともらしい文章を生成しますが、事実とは異なる情報を回答することがあるため、AIの回答をそのまま信頼せずに、利用する際は必ず確認・検証することが大切です。
- 詐欺や危険サイトなどへ誘導される可能性に注意する：Web検索の結果に危険なサイトが混入してしまう事例は以前から継続して確認されています。同様に、AIが提示する情報も絶対安全とは限りません。場合によっては、非公式のサイト、危険サイト、詐欺サイト、詐欺電話番号などが提示される可能性があります。
- 最新情報ではない可能性がある：AIの回答は必ずしも最新の情報を反映しているとは限りません。重要な内容は公式情報で確認しましょう。
トレンドマイクロ製品を活用した「プロアクティブ」なセキュリティ対策
詐欺対策に特化したスマホ向け防犯アプリ「トレンドマイクロ 詐欺バスター」は、より先進的なAI技術を組み合わせることで、巧妙化する詐欺の脅威からあなたを守ります。「Web脅威対策機能」で詐欺サイトなどの不正Webサイトへのアクセスをブロックします。また、「詐欺チェック機能」でAIによる詐欺判定ができるため、不審なメールや広告、SNS投稿などのスクリーンショットから詐欺サイトの可能性を判定することができます。
パソコンをご利用の場合は、「ウイルスバスター トータルセキュリティ」の「Web脅威対策機能」で不正Webサイトへのアクセスをブロックすることができます。
トレンドマイクロのセキュリティ対策製品は、常に変化し巧妙化する「詐欺」を未然に防止することを支援します。守る側の対策もAIを活用した「プロアクティブ」なセキュリティ対策へと進化させることができます。
調査協力：トレンドマイクロ株式会社
岩井 雄大（コンシューマテクニカルサポート）
松川 博英（フォワードルッキングスレットリサーチ）
嶋村 誠（サイバーセキュリティイノベーション研究所）
松ヶ谷 新吾（サイバーセキュリティイノベーション研究所）
河田 芳希（サイバーセキュリティイノベーション研究所）
深澤 隆介（コンシューマテクニカルサポート）
執筆：本野 賢一郎（詐欺対策チーフアナリスト / Scam Doctor）