「開放全球應用程式安全計畫」(Open Worldwide Application Security Project，簡稱 OWASP) 是一個非營利機構，在推廣軟體資安教育和最佳實務方面擁有 20 多年的經驗。
目錄
什麼是 OWASP？
OWASP 的旗艦級計畫「OWASP 十大清單」(Top 10) 是一份定期更新的清單，裡面列出了當今最重大的網站應用程式安全風險。
2023 年 5 月，OWASP 針對大型語言模型 (LLM) 與生成式 AI 相關的新興風險啟動了「生成式 AI 安全計畫」(Generative AI Security Project)。隨著企業迅速導入這些技術，企業對於提示注入、資料外洩，以及治理風險的擔憂也與日俱增。有鑑於業界缺乏一套專門針對 AI 的系統化資安框架，所以 OWASP 成立了這項專案來將其風險分類並提出防範對策。
趨勢科技很榮幸成為 OWASP 生成式 AI 安全計畫的黃金贊助商 (Gold Sponsor)。我們對於 AI 技術的研究及產品開發已耕耘了將近 20 年，並一直致力發掘及防範 AI 相關的資安風險來達成我們的使命：「建立一個能安全交換數位資訊的世界」。
「保障 LLM 的安全不只在於技術，更在於治理、透明度與信任。」
OWASP 2025 年 LLM 應用程式十大清單
OWASP 在這項計畫之下已發布過多次 AI 的十大清單：
0.5 版 (2023 年 5 月)
1.1 版本 (2023 年 10 月)
2025 年版 (2024 年 11 月)
最新版的 OWASP LLM 應用程式與生成式 AI 十大清單列出了當今最重大的風險、建議的防範措施，以及攻擊情境。以下概略介紹 2025 年的十大風險：
提示注入
注入提示是指使用者的輸入意外改變了 LLM 的行為或輸出結果。這可能導致它違反安全機制、產生有害內容、提供未經授權的存取，或是影響關鍵決策。雖然像「檢索增強生成」(Retrieval-Augmented Generation，簡稱 RAG) 與微調 (fine-tuning) 這樣的技巧可改善輸出的品質，但卻無法完全消除提示注入的漏洞。
微調是指使用特定領域的資料集來訓練預先訓練好的通用模型以加強其專業知識。
提示注入與越獄是相關的概念：
提示注入是利用精心特製的輸入來操弄模型的回應。
越獄是一種駭客用來迴避安全機制的提示注入型態。
系統提示中的安全機制 (也就是設定應用程式意圖的指示) 確實有所幫助，但更有效的作法是不斷訓練模型並更新其安全機制。
敏感資訊外流
LLM 的風險之一是洩漏機密資料、專屬演算法或其他敏感資訊。其輸出可能導致未經授權的存取、侵犯隱私權，或侵犯智慧財產權。使用者應避免將機密資料輸入到 LLM 當中，因為這些資料有可能在日後遭到外洩。
防範的策略包括：
淨化資料，將敏感內容從訓練資料中排除。
提供明確的用戶資料使用條款以及選擇退出機制。
在系統提示中加入一些限制 (儘管這些限制有可能被提示注入繞過)。
供應鏈漏洞
LLM 供應鏈面臨著訓練資料、模型及部署平台方面的風險。這些都可能導致輸出偏差、資料外洩或故障。有別於傳統軟體，LLM 的風險還涉及了第三方預訓練的模型和資料集。
開放給大眾取用的模型與微調方法 (如 Hugging Face) 會增加曝險，而裝置內的 LLM 也會進一步擴大攻擊面。
訓練資料遭下毒
資料下毒是透過操弄預訓練、微調或內嵌階段來製造漏洞或偏差，如此可能影響效能、違反道德與安全性。
其風險包括：
外部資料來源中的惡意內容。
惡意程式 [內部連結] 被內嵌在共用或開放原始碼的模型中。
平常處於「睡眠狀態」、經由特定輸入來觸發的後門。
不安全的輸出處理方式
當 LLM 輸出在到達下游系統之前並未經過檢查或淨化時，駭客就能利用以下漏洞攻擊手法：
跨網站請求偽造 (CSRF)。
伺服器端請求偽造 (SSRF)。
權限提升與遠端程式碼執行。
當 LLM 擁有的權限過大，或者第三方擴充功能未做好輸入檢查時，就會增加這樣的風險。
過多的代理權限
以 LLM 為基礎的系統經常具備「代理」功能，也就是能夠動態呼叫函式或擴充功能。視連接的系統而定，過多的功能、權限或自主性很可能會危及機密性、完整性及可用性。
系統提示洩漏
系統提示是用來引導模型的行為，但卻可能含有一些敏感的資料，例如：登入憑證或連線字串。這些資料一旦外洩就可能讓駭客避開安全機制或提升自己的權限。即使未全部外洩，駭客還是可以從互動中推測出模型的安全機制。
不安全的擴充功能設計
在 RAG 系統中，向量 (vectors) 與嵌入 (embeddings) 在生成、儲存或檢索過程中的漏洞，可能導致惡意內容注入、輸出操弄或未經授權的資料存取。
過度依賴
LLM 可能生成看似可信、但卻虛假或誤導的內容 (幻覺)，進而造成商譽損失或法律風險。其原因包括：
未真正理解就以統計方式填補資訊空缺。
訓練資料偏差或不完整。
使用者過度依賴未經驗證的輸出。
模型失竊
毫無管制的推論請求可能導致阻斷服務 (DoS)、財務損失、模型失竊，或是服務品質下降。雲端環境的運算需求很高，因此尤其容易遭到這類攻擊。
企業如何保護 LLM？
保護大型語言模型 (LLM) 至關重要，因為它們已經成為企業工作流程不可或缺的一環。企業必須建置嚴格的治理、監控及技術性防護來主動解決風險。OWASP 的 LLM 十大風險，點出了一些若未妥善防範將可能導致資料外洩、提示注入攻擊以及濫用的重大漏洞。
「OWASP 的使命就是要讓軟體安全變得透明，好讓個人和企業都能做出明智的決策。」
資料來源： https://owasp.org/
以下是企業可採取的一些關鍵步驟：
實施嚴格的存取控管： 限制誰可以與 LLM 互動，並強制實施認證與授權以防止未經授權的使用。
檢查並淨化輸入： 實施嚴格的輸入檢查與過濾來防範提示注入與惡意指示。
監控輸出中的敏感資料：使用自動化工具來偵測並遮蔽生成的回應中的機密或個人身分識別資訊。
實施速率限制與濫用偵測：針對過多的請求加以限制，並監控是否有不當使用或自動化攻擊的特徵。
建立模型治理與記錄檔：保留詳細的互動記錄以供稽核和合規用途，制定明確的政策來規範可接受的使用方式。
定期更新與修補模型：讓 LLM 框架與相依元件隨時保持更新，以解決新興的漏洞。
訓練員工養成安全的使用習慣：教育員工有關資料外洩與提示注入的風險以減少人為錯誤。
採用趨勢科技來強化 LLM 的安全
OWASP 的 LLM 十大風險針對提示注入、資料外洩、不安全的擴充功能等風險提出了警告。TrendAI Vision One™ 能提供以下功能來協助企業解決這些挑戰：
AI 應用程式防護 – 攔截惡意提示與擴充功能的漏洞。
零信任存取 – 強制執行嚴格的身分認證與權限設定。
AI 資安態勢管理 – 掃描是否有組態設定錯誤和漏洞。
威脅情資 – 偵測新興的 AI 相關攻擊。
集中治理 – 監控使用狀況並強制貫徹政策。
有了 TrendAI Vision One™，企業就能在安全與合規的情況下安心部署 LLM。
Fernando Cardoso 是趨勢科技產品管理副總裁，專精於不斷演進的 AI 與雲端世界。在他職業生涯的一開始，曾擔任過網路與銷售工程師，磨練了他在資料中心、雲端、DevOps 以及網路資安領域方面的技能，而這些領域至今依然能持續激發他的熱情。
常見問題 (FAQ)
網路資安領域的 OWASP 是什麼？
OWASP 是一個公開來源計畫，提供各種資源、工具和指引來改善全球網站應用程式的安全。
什麼是 OWASP 十大清單 (Top 10)？
OWASP 十大清單列出了當今網站應用程式最重大的資安風險，並定期更新以供開發人員參考。
OWASP 十大清單多久更新一次？
OWASP 十大清單通常每三年更新一次，以反映最新的威脅與不斷演變網站應用程式資安實務。
OWASP 該如何運用？
採用 OWASP 的指引、工具和最佳實務原則來發掘、防範及減少網站應用程式的漏洞。