漏洞攻擊
近一半受訪企業表示已採用 ChatGPT 來「取代勞工」! OWASP 公布 AI 三大漏洞類型
OWASP 針對大型語言模型 AI 聊天機器人首次提出了一份風險清單，再次證明生成式 AI 正迅速邁入主流階段，而這份清單也象徵著保護企業、防範 AI 相關威脅的重要一步。
Save to Folio
20 多年來，「開放網站應用程式安全計畫」(Open Web Application Security Project，簡稱 OWASP) 的十大風險清單一直是企業改善軟體安全最指標性的一份參考資料。這也難怪當今年春季初 OWASP 發布最新的十大風險清單並聚焦大型語言模型 AI 漏洞時，開發人員和網路資安專業人士都紛紛密切關注。
OWASP 此一動作再次證明了 AI 聊天機器人正迅速邁入主流階段。根據一項調查，有將近一半 (48%) 的受訪企業表示他們在 2023 年 2 月左右已經開始採用 ChatGPT 來「取代勞工」，而這距離 ChatGPT 發表以來才不過短短的三個月。許多觀察家都憂心指出，AI 的普及既倉促、又缺乏對相關風險的了解，因此 OWASP 的十大 AI 風險清單來得正是時候，也有其必要。
大型語言模型漏洞一覽
截至目前為止，OWASP 已經發布過兩次草稿版的 AI 漏洞清單，一次是在 2023 年 5 月，另一次是在 7 月 1 日， 後面這次更新提供了更詳細的分類、定義、範例、情境以及參考連結。目前最新的版本是「0.5 版」，據說正式的 1.0 版正在製作當中。
經過分析之後，我們發現 OWASP 公布漏洞大致分成三類：
- 權限濫用和未經授權的動作相關的「存取風險」。
- 資料篡改或服務中斷之類的「資料風險」。
- 因不良的 AI 輸出或動作而導致的「商譽和業務風險」。
以下進一步探討每一類當中的個別風險，並提供一些建議的對策。
📍1.存取風險
在 OWASP 的十大漏洞當中，有四個漏洞跟存取與權限濫用有關： 不安全的擴充功能 (plugin)、不安全的輸出處理方式、權限問題，以及賦予過多的代理權限。
根據 OWASP 表示，任何大型語言模型只要是使用了不安全的擴充功能來接收「自由形式的文字」輸入，都可能暴露於惡意請求的風險，導致一些不當的行為或執行未經授權的遠端程式碼。另一方面，以不安全方式處理大型語言模型「輸出」卻未加以檢查的擴充功能或應用程式，容易暴露在跨網站與伺服器端偽造請求、未經授權的權限提升、挾持攻擊等風險。
類似情況，當不同擴充功能之間缺乏追蹤授權時，就可能出現權限問題，讓不肖之徒有機會間接注入指令或使用惡意擴充功能。
最後，由於 AI 聊天機器人有時會扮演「行動者」，進而做出一些決定或執行一些決定，因此它們被賦予多大的裁量空間 (也就是代理權限) 就很重要。正如 OWASP 解釋：「當 LLM 與其他系統界接時，不受限制的代理權限將導致非預期的作業和動作。」例如，個人郵件閱讀助理可能被濫用於散播垃圾郵件；還有客戶服務 AI 聊天機器人因為被操弄而核發不符合資格的退款。
在這所有案例當中，大型語言模型已成為歹徒滲透系統的一種途徑。
📍2.資料風險
遭汙染的訓練資料、供應鏈漏洞、指令注入漏洞，以及阻斷服務全都是跟資料相關的 AI 風險。
資料可能被有心傷害某家企業的歹徒所惡意汙染，也可能在 AI 系統從一些不可靠或未經審查的來源學習時意外遭到扭曲。兩種類型的汙染都可能發生在使用中的 AI 聊天機器人應用程式，或者出現在大型語言模型供應鏈當中，因為使用預先訓練的模型、群眾外包的資料，以及不安全的擴充功能，都有可能造成偏頗的資料輸出、資安事件或系統故障。
例如指令注入的情況，意圖不良的輸入可能導致大型語言模型 AI 聊天機器人揭露一些原本應該保密的資料，或者執行一些可能導致資料外洩的其他動作。
AI 阻斷服務攻擊類似於傳統的 DoS 攻擊，其目標是要癱瘓大型語言模型，讓使用者無法存取資料和應用程式，或者迫使系統消耗過多的資源，使得帳單因而飆高 (因為許多 AI 聊天機器人都使用按用量付費的 IT 基礎架構)。
📍3.商譽與業務損失
最後一類 OWASP 漏洞，也就是過度依賴 AI，根據我們的觀察，已經在世界各地造成一些後果。有關大型語言模型產生錯誤或不當輸出的傳聞從未間斷：從引用虛構的資料和 先前判例，到發表種族歧視與性歧視的言論。
OWASP 指出，在沒有適當監督的情況下依靠 AI 聊天機器人，很可能讓企業陷入發布假訊息或冒犯內容的危險，進而導致商譽損失，甚至是法律訴訟。
既然有這麼多各式各樣的風險，那問題來了，「我們該怎麼辦？」所幸，企業還是有些保護措施可以採用。
大型企業該如何處理大型語言模型的漏洞
趨勢科技認為，要防範 AI 的存取風險，需要採取一種零信任的資安立場，並且有紀律地將系統隔離 (沙盒化)。儘管生成式 AI 具備了其他 IT 系統所沒有的能力，因而對零信任防禦造成挑戰 (因為它可模仿受信任的個體)，但零信任防禦還是可以加入一些機制讓不當的行為更容易被發現並加以制止。此外，OWASP 也建議不應該讓大型語言模型「自己審查自己」，而是需要在應用程式開發介面 (API) 當中加入一些管控。
沙盒化對於保護資料的隱私和完整也同樣重要：將機密資訊與可分享的資料徹底分離，並且讓 AI 聊天機器人及其他對外公開的系統無法存取機密資訊。(詳情請參閱我們最近一篇有關 AI 網路資安政策的部落格文章。)
良好的資料分離可防止大型語言模型在對外的輸出當中包含私密資料或個人身分識別資訊，同時也防止它被公開要求以不當方式和一些安全的應用程式互動，例如支付系統。
在商譽風險方面，最簡單的解決之道就是不要單純只仰賴 AI 生成的內容或程式碼，而且絕對不要在未經查核其真偽、準確性或可靠性之前就直接將 AI 輸出的內容拿來發布或使用。
企業可以 (而且也應該) 在政策當中加入一些這類防範措施，一但有了適當的政策作基礎，就可以採取一些資安技術，例如：端點偵測及回應 (EDR)、延伸式偵測及回應 (XDR)、資安事件管理 (SIEM) 系統來落實政策並監控任何可能有害的活動。
大型語言模型 AI 聊天機器人的時代已經來臨
OWASP 率先針對 AI 風險加以分類，證明了急於擁抱 AI 所帶來的各種疑慮，確實值得商榷。此外，AI 的時代顯然已經來臨，所以最重要的是要了解其風險並採取負責任的作法來加以防範。
建立適當的 AI 運用管理政策，並藉由網路資安解決方案的協助來落實政策，是不錯的第一步，所以請持續保持關注。我們的看法是：OWASP 的十大 AI 風險清單勢必將成為年度必讀的一份參考資料，就如同他們 2003 年開始至今的應用程式安全清單一樣。
下一步
欲了解更多有關趨勢科技在 AI 聊天機器人資安領域的前瞻性觀點，請參閱以下文章：