Open Worldwide Application Security Project（OWASP）是一個非牟利機構，擁有超過 20 年推廣軟件保安教育及最佳實務經驗。
目錄
甚麼是 OWASP？
Owasp 旗艦計劃 OWASP Top 10 是定期更新的風險清單，包含最關鍵的網絡應用程式保安風險。
OWASP 於 2023 年 5 月推出生成式人工智能保安計劃，以應對與大型語言模型及生成式人工智能相關的新興風險。隨著機構迅速採用這些技術，人們對提示注入、數據洩漏及管治風險的擔憂也越來越嚴重。人工智能缺乏系統化保安框架，促使 OWASP 創建此項目，以分類風險及提出緩解策略。
趨勢科技很榮幸支援 OWASP Generative AI Security Project 成為黃金贊助商。憑藉近二十年人工智能科技研究及產品開發，我們仍然致力透過識別及減低人工智能相關的保安風險，創建一個可以安全交換數碼資料的世界。
「保護大型語言模型不僅關乎科技，還關乎管治、透明度及信任。」
OWASP 十大大型語言模型應用程式 - 2025 年
在此項目下，OWASP 發佈了多個以人工智能為重點的十大清單：
版本 0.5（2023 年 5 月）
版本 1.1（2023 年 10 月）
2025 年版本（2024 年 11 月）
最新版本的 OWASP 是大型語言模型應用程式及生成式人工智能的十大方案，當中概述了最關鍵的風險、建議緩解措施及攻擊案例。以下是 2025 年十大風險的概述：
提示注入
提示注入在用戶無意中更改大型語言模型的行為或產物時出現。這可能導致違反指引、產生有害內容、未經授權存取或影響關鍵決策。檢索增強生成（RAG）及微調等技術旨在改善輸出質素，但未能全面消除提示注入漏洞。
微調是指在領域特定數據集上培訓預先受訓的一般用途模型，以增加專門知識。
提示注入及越獄是相關概念：
提示注入透過精心製作的輸入資料來操縱回應。
越獄是攻擊者繞過安全協議的一種提示注入方式。
在系統提示（定義應用程式意圖的指示）中採取保護措施可以提供幫助，但持續的模型培訓和更新的安全機制更有效。
敏感資訊洩漏
大型語言模型會洩漏機密資料、專有演算法或其他敏感資料。產物可能導致未經授權的存取、侵犯私隱或知識產權。用戶應避免將機密資料輸入大型語言模型，因為日後可能會洩露機密資料。
緩解策略包括：
對數據進行消毒，並排除培訓資料集內的敏感內容。
為用戶數據提供清晰的使用條款及選擇退出機制。
在系統提示中新增限制（但可被提示注入略過）。
供應鏈漏洞
大型語言模型供應鏈面對影響培訓資料、模型及部署平台的風險。這可能導致輸出偏差、違規或故障。與傳統軟件不同，大型語言模型的風險延伸至第三方預先受訓的模型及數據集。
公開存取模型和微調方法（例如 Hugging Face）增加曝露風險。在裝置內的大型語言模型進一步擴大受攻擊面。
訓練資料中毒
資料中毒會在預先受訓、微調或嵌入階段進行操控，以引入漏洞或偏見。這可能會降低效能、影響道德及保安。
風險包括：
外部資料來源中的惡意內容。
惡意程式【內部連結】已嵌入共用或開放源碼模式。
由特定輸入資料觸發的後門程式充當「潛伏特工」。
不安全的產物處理
當大型語言模型產物在到達下游系統前未經過驗證或消毒時，攻擊者會利用以下漏洞：
跨網站偽造請求（CSRF）
伺服器端偽造請求（SSRF）
特權升級及遠端代碼執行
當大型語言模型擁有過多特權或當第三方外掛缺乏輸入驗證時，風險就會增加。
過量代理
以大型語言模型為基礎的系統通常具有「代理」功能，能夠動態調用或擴展功能。過度的功能、權限或自主權會因所連接的系統而危及機密性、完整性及可用性。
系統提示洩漏
系統提示指導模型行為，但可能包含諸如憑證或連接字符串等敏感數據。洩漏可以令繞過護欄或特權升級等攻擊得以發生。即使沒有全面披露，攻擊者也可以透過互動模式推定防護層。
不安全的外掛程式設計
在以檢索增強生成為基礎的系統中，產生、儲存或擷取向量圖形及嵌入程式的漏洞可允許惡意內容注入、操控產物或作未經授權的數據存取。
過度依賴
大型語言模型可能會產生看似可信的虛假或誤導性內容（幻覺），造成聲譽損害或法律風險。原因包括：
在統計中只顧填補空白而沒有真正理解
偏見或不完整的訓練資料
過份依賴用戶未驗證的產物
模型盜竊
不受控制的推斷要求可能導致拒絕服務、財務損失、模型盜竊或服務降級。雲端環境尤其容易受到高運算需求所影響。
機構如何保護大型語言模型？
保護大型語言模型是企業工作流程不可或缺的一環。機構必須採取穩健的管治、監控及技術保障措施，主動應對風險。大型語言模型的 OWASP 十大風險強調了關鍵漏洞，如果未能妥善緩解，可能會導致資料洩漏、提示注入攻擊及誤用。
「OWASP 的使命是讓軟件明顯安全，以便個人和組織作出明智決定。」
資料來源：https://owasp.org/
機構可採取的關鍵步驟：
實施強大的存取控制： 限制誰可與大型語言模型互動，並執行驗證和授權，以防止未經授權使用。
驗證及消毒產物： 採用嚴格的輸入驗證及過濾，防止提示注入及惡意指示。
監控敏感資料的輸出： 使用自動化工具在生成的回應中偵測及編輯機密或個人身份資料。
應用限價及濫用偵測：限制過度的要求，並監控顯示誤用或自動入侵的模式。
建立模型管理和記錄： 備存詳細的互動記錄，以作審計及合規之用，並釐定清晰的政策以作可接受用途。
定期更新及補丁模式：讓大型語言模型框架及依賴機構保持最新狀態，以應對新出現的漏洞。
培訓員工安全使用實務：教育員工有關資料洩漏及提示注入等風險，以減少人為錯誤。
以趨勢科技強化大型語言模型防護
大型語言模型的 OWASP 前 10 大警示了提示注入、資料洩漏及不安全外掛程式的風險。Trend Vision One™ 協助機構應對以下挑戰：
人工智能應用程式防護 - 阻截惡意提示及外掛程式漏洞。
零信任存取 – 執行嚴格的身份及權限。
人工智能保安態勢管理 – 掃瞄錯誤配置及漏洞。
威脅情報 – 偵測新興的人工智能攻擊。
中央化管治 – 監控使用情況並執行政策。
Trend Vision One™ 讓企業可以安心部署大型語言模型，同時保持安全和合規。
Fernando Cardoso 是趨勢科技產品管理副總裁，專長於不斷演進的人工智能與雲端世界。他的職業生涯由擔任網路與銷售工程師開始，並在數據中心、雲端、DevOps 及網絡資訊保安領域都具備優異技能，而他對這些領域依然煥發了無比熱情。
常見問題
OWASP 在網絡安全方面是甚麼？
OWASP 是一個開放源碼項目，提供資源、工具及指引，改善全球網絡應用程式保安。
甚麼是 OWASP 十大名單？
OWASP Top 10 是定期為開發人員更新的風險清單，包含最關鍵的網絡用程式保安風險。
OWASP 十大名單多久更新一次？
OWASP Top 10 一般每三年更新一次，反映新興威脅及不斷演變的網上應用程式保安實務。
如何使用 OWASP？
利用 OWASP 實施其指引、工具及最佳實踐，以識別、預防及減輕網站應用程式漏洞。