人工智慧
AI 聊天機器人如何變成駭客的後門?
在這篇有關 AI 入侵的文章中，我們將帶您了解聊天機器人如何可能變成駭客的後門。
Save to Folio
生成式 AI (GenAI)，尤其是大型語言模型 (LLM) 聊天機器人，已徹底改變了企業與客戶的互動方式。這些 AI 系統提供了前所未有的效率和個人化功能，然而這麼強大的力量，卻也帶來了嚴重風險：因為它可能成為駭客積極發動精密攻擊的最新攻擊面。AI 應用程式一旦遭駭客入侵，就有可能從一個單純的工具迅速升級為一個進入您最敏感資料和基礎架構的致命後門。
企業想要安全地駕馭 AI 的潛力，關鍵就在於了解 AI 堆疊當中沒有任何一個防護層可以獨立解決所有問題。企業需要一套強大的多層式防禦策略來保護整個 AI 生態系，從使用者互動到核心資料。正如趨勢科技執行長暨共同創辦人陳怡樺 (Eva Chen) 指出：「偉大的科技進步總是伴隨著新的資安風險。如同雲端以及我們曾經保護的所有其他技術躍進一樣，AI 時代的承諾只有在安全無虞的情況下才能發揮力量。」
本文分析一個常見的 AI 攻擊情境，並揭露其每一階段的漏洞。此外，我們也將展示 Trend Vision One™ AI Security 如何提供必要的全方位、多層式、主動資安策略，藉由一整套的功能，從基礎資料到終端使用者完整保護您的整個 AI 堆疊。我們 AI 驅動的企業網路資安平台提供了單一窗口來讓您將進階威脅視覺化、判斷其優先次序，並且加以防範。
AI 驅動的網路攻擊是如何發展的？
為了了解其中的風險，讓我們逐步分析一起階段性攻擊的情境，這起攻擊瞄準了一家虛構的中型企業「FinOptiCorp」，該公司部署了一個名叫「FinBot」的進階 LLM 客戶服務聊天機器人。這起攻擊的過程充分展示了一系列看似微小的漏洞是如何串連起來，一步步導致一場災難性的資料外洩。
駭客攻擊如何開始？
首先，駭客會表現得像是一名滿懷好奇心的客戶，與該公司對外開放的聊天機器人互動，然後藉由各種問題，有系統地試探聊天機器人的極限。他們希望看到不一致的回應或是錯誤訊息，因為這些有可能意外透露出有關底層技術的資訊。在 FinOptiCorp 的攻擊過程中，駭客在經過多次的嘗試之後，終於有某個查詢因為駭客蓄意製造的格式錯誤而導致聊天機器人傳回一則透露出內部資訊的錯誤訊息。
這是鎧甲上的第一道關鍵裂縫。這則錯誤訊息證實了聊天機器人會分析外部來源的資料來了解大眾的情緒，這等於是揭露了一個完美的間接攻擊途徑。此外，也暴露出聊天機器人底層使用了 Python 技術堆疊，這也有助於駭客量身打造下一步的行動。這個初步的刺探動作，目的就是要找到潛在的敏感資訊揭露 (OWASP LLM02：2025) 弱點。
駭客如何取得控制權？
當知道聊天機器人會分析外部資料之後，接著駭客便找到一個 FinBot 會分析的第三方評測論壇，駭客在該論壇上發表了一則含有隱藏指令的正面評價。這項技巧被稱為間接提示注入 (OWASP LLM01：2025)，可誘騙 LLM 遵守非信任資料來源的指示。
前述的惡意提示會要求 FinBot 揭露其核心的運作指示，而被隱藏指令所挾持的聊天機器人，接著便洩漏了完整的系統提示，包括它可存取的內部工具名稱，例如：internal_api_summarizer。聊天機器人的核心邏輯曝光是一種典型的系統提示洩漏 (OWASP LLM07：2025) 漏洞。
遭駭客入侵的聊天機器人可以做些什麼？
駭客一看到外洩的系統提示，便了解「internal_api_summarizer」工具擁有比其用途更大的權限。聊天機器人似乎被賦予了過多的代理權限 (OWASP LLM06：2025)，這表示它的權限遠遠超過其服務外部客戶的角色。接著，駭客會設計一道新的提示，並偽裝成一個內部分析工作，指示聊天機器人使用上述這個內部 API 來直接查詢客戶資料庫。
由於內部 API 並無完善的防護機制，因此便直接執行了這個查詢，並經由聊天機器人介面將原始的敏感資料傳回給駭客，包括：姓名、社會安全碼，以及帳戶餘額。
資料外洩如何擴散至 AI 之外？
接著，駭客利用被入侵的聊天機器人作為代理器 (proxy) 來刺探內部 API 是否存在著一些傳統的漏洞。他們發現了一個由不當的輸出處理 (OWASP LLM05：2025) 所造成的指令注入漏洞。API 在執行系統指令之前，並未對來自聊天機器人的輸入文字進行淨化。
駭客設計了一道含有簡單指令 (test; ls -la /app) 的提示來誘騙聊天機器人發送惡意內容到 API。API 會執行該指令，然後將輸出內容 (應用程式檔案清單) 以「摘要」的形式傳回。而這就是駭客可從遠端執行程式碼的鐵證，這樣駭客就能從 AI 應用程式橫向移動到底層的微服務基礎架構。
最終目標為何？
駭客在伺服器上建立常駐的灘頭堡之後，就會尋找並讀取一個組態設定檔案。這個檔案含有「開啟寶藏的鑰匙」，也就是：FinBot 的檢索增強式生成（RAG）系統儲存專屬資料的向量資料庫 API 金鑰和登入憑證，以及含有微調後 AI 模型本身的雲端儲存貯體 (bucket)。
這就是所謂的向量嵌入弱點 (OWASP LLM08：2025) 漏洞，也就是駭客一旦取得了內部網路的存取權限，就能存取缺乏安全防護的資料儲存。此時駭客將可竊取大量的專屬資料，以及公司珍貴的智慧財產，那就是：客製化 AI 模型。
如何防範 AI 入侵？ 採用多層式防禦
FinOptiCorp 的情況證明，保護 AI 不能依賴單一解決方案，而是需要建立強韌的多層式防禦。現代化資安平台必須要掌握可視性並監控整個 AI 技術堆疊，從主動掃描到即時防護，還有基礎架構防護。這套方法要符合業界知名網路資安框架，如：NIST AI Risk Management Framework (AI RMF) 與 CISA Zero Trust Architecture (ZTA)，同時還要達成 ISO/IEC 42001 等國際標準所要求的廣泛治理與責任歸屬。
如何在 AI 部署之前就預先加以保護？
防範工作早在應用程式上線之前就已經開始，一套「向左移」的主動式方法，能在開發生命週期的早期便發掘風險。
Trend Vision One™ AI Application Security (AI Scanner) 可扮演自動化紅隊演練工具，在 AI 模型部署之前預先主動測試模型是否含有提示注入、敏感資訊揭露等漏洞，這樣也許一開始就能發現 FinBot 的弱點。此外，AI Scanner 也可在營運環境的 AI 應用程式上執行。
AI 資安態勢管理 (AI-SPM) 是我們 Trend Vision One™ Cyber Risk Exposure Management (CREM) 解決方案的一環，能完整盤點您整個雲端環境內的所有 AI 模型與資產。它會不斷掃描是否有組態設定錯誤、過度授權，或資料儲存暴露在外的情況，例如前述攻擊情境當中無安全防護的 API 和向量資料庫，讓團隊在遭遇攻擊之前預先修正問題。這樣就能符合 NIST AI RMF 所要求的治理 (Govern) 與對應 (Map) 功能，提供可視性並協助管理 AI 系統資安態勢相關的風險。
如何即時保護 AI？
當 AI 應用程式上線之後，您需要即時的防護來檢查並控管 AI 的行為。
Trend Vision One™ AI Application Security (AI Guard) 與 Trend Vision One™ Zero Trust Secure Access (ZTSA) AI Service Access 可作為所有輸入和輸出的關鍵檢查點。這些功能可檢查提示中是否含有惡意指令 (例如洩漏系統提示的指令)，並分析回應內容以防止機敏資料外傳。此外，還可偵測並攔截駭客試圖取得原始客戶資料以及執行指令注入的行為，在中途就化解攻擊。如此就能檢查資料流量，並保護應用程式本身，直接支援 CISA 零信任模型的資料 (Data) 與應用程式 (Application) 兩大支柱。
如何防止攻擊擴散？
假使駭客找到了突破前幾道防護的方法，那麼焦點就應該移轉到遏制並保護底層基礎架構。
Trend Vision One™ Container Security 對於現代化微服務應用程式至關重要，它能在部署之前預先掃描容器映像是否含有已知的漏洞，而且最關鍵的是，它能提供執行時期防護。它可偵測並攔截容器內的可疑行為 (例如前述第四階段所執行的非預期指令) 來防止橫向移動。
Trend Vision One™ Endpoint Security 具備完整的虛擬修補功能，能防止底層伺服器遭到漏洞攻擊，甚至當漏洞存在於應用程式的程式碼當中時，這種情況也可能發生。除此之外，這套解決方案的行為分析還能偵測並攔截勒索病毒之類的毀滅性惡意程式。
Trend Vision One 整合了一整套功能來保護整個 AI 堆疊，並提供單一窗口來管理整個企業的資安風險。它能解決從基礎資料到終端使用者的每一層所面臨的重大資安挑戰，包括：保護敏感資料以免出現盲點、檢查持續整合與持續交付/部署 (CI/CD) 流程來防範供應鏈漏洞，還有強制控管來防止 AI 模型遭到下毒或不當使用。
藉由交叉關聯來自基礎架構、網路、微服務及使用者存取等不同層面的資料，Trend Vision One 就能偵測那些零散的單一面向產品可能錯過的複雜攻擊程序。這套整合式方法能簡化您的資安營運、減少警報疲勞的情況，並提供企業所需的強大防護與持續矯正，讓企業安心運用 AI 技術來創新。如需有關 Trend Vision One 如何保護您整個 AI 堆疊的更多資訊，請閱讀我們的完整報告。
