導入 AI 技術會產生傳統運算環境中不存在的新弱點。 這些弱點涵蓋由威脅攻擊者發起的惡意網路攻擊，以及因平台設計與使用者行為所導致的安全漏洞。
目錄
AI 資安漏洞
全球開放應用程式安全計畫（OWASP）指出了一系列與建構於大型語言模型（LLMs）與生成式人工智慧（GenAI）上的 AI 相關的漏洞。包括以下幾點：
- 提示注入（Prompt injection）
- 不安全的輸出處理方式
- 訓練資料遭下毒
- 模型阻斷服務
- 供應鏈漏洞
- 機敏資訊外流
- 不安全的擴充元件 (plugin)
- 過多的代理權限
- 過度依賴
- 模型失竊
這些漏洞可進一步統整與簡化為以下幾個核心類別：
資料相關的 AI 風險
系統完整性
存取
利用完整性弱點的漏洞
機敏資訊外流
模型失竊
不安全的擴充元件 (plugin)
不安全的輸出處理方式
過多的代理權限
模型遭下毒
供應鏈軟體物料清單 (SBOM)
提示注入
過度依賴 AI
阻斷服務
模型遭下毒
提示注入
生態系整合
不安全的擴充元件 (plugin)
不安全的輸出處理方式
軟體供應鏈
過多的代理權限
過度依賴 AI
由於相當仰賴現有資料與使用者的輸入，AI 逐漸成為駭客用來突破數位防線及竊取機敏資訊的攻擊目標。根據 Gartner® 最近的一項調查揭露了 2024 年第一季最常被提及的五項新興風險。其中，AI 相關的風險就囊括了前兩名，分別為 AI 強化的惡意攻擊與 AI 協助產生的假訊息。如 Gartner 指出，AI 能夠「強化網路釣魚與社交工程技巧，讓駭客的入侵更加順利、更容易取得信任，同時也讓攻擊更具破壞力。」
不受控制的 AI ( Rogue AI )
所謂的「不受控制的 AI」就是行為表現與使用者的目標不一致的 AI。這樣的不一致有時是意外造成，例如保護措施未適當發揮作用。但有時是刻意造成的，例如駭客可能故意破壞 AI 的系統或使用方式，或者試圖在某個環境內安裝惡意的 AI 模型。
詐騙自動化
詐騙自動化主要是自動產生網路釣魚、變臉詐騙、深偽詐騙所需的文字、音訊、視訊等合成內容。AI 讓詐騙自動化的規模能輕易擴大。
資料治理
AI 系統需仰賴資料，因此，AI 系統中所用到的資料以及它們即時接觸到的資料，都必須符合所有隱私權與正當使用規範，因此需借助主動而有效的資料治理來降低風險。
大型語言模型 (LLM) 資安風險
LLMs 面臨多項重大漏洞，包括：可操控模型行為的提示詞注入攻擊、導致機敏資料外洩的敏感資訊揭露，以及可能對下游系統發動攻擊的不當輸出處理。其他重大風險包括第三方產品相依元件的供應鏈漏洞、授予過多不必要的代理權限、資料中毒因而危及模型完整性，以及洩漏機密指令的系統提示外洩。除此之外，駭客還會利用向量嵌入弱點、產生錯誤資訊，以及無限制資源消耗攻擊，威脅 LLM 應用程式的安全性、可靠性和可用性。
生成式 AI 使用者提示相關的資安風險
生成式 AI (GenAI) 會利用過去和當前可取得的資料來協助使用者。因此，對於需要使用者輸入提示的工具，您最好小心並主動留意您輸入的提示。有些工具可讓使用者拒絕自己的資料被蒐集，例如 ChatGPT 即提供了選項讓您關閉聊天記錄。視監理機關對 AI 治理與使用的要求而定，有時候 AI 必須具備這類預防性措施和行為才能符合規範。
假使輸入了財務資訊、尚未發表的軟體相關機密細節、個人身分識別資訊 (PII，如地址和聯絡資訊) 或其他敏感的資料，那麼這些資訊將可以被 AI 應用程式自由地存取。如果 AI 的防護措施遭駭客破解，那麼這些資料就有可能遭到篡改，或是在提供建議給使用者時意外洩露，或是被駭客竊取。這在使用生成式 AI 工具來協助概念發想或快速整理大量資料時特別危險，尤其是如果沒有充分的加密和資安措施時。
ChatGPT 資安風險
ChatGPT 是一種以文字輸入提示和獲得回應的生成式 AI，駭客可用它來偽裝或改善他們的網路釣魚攻擊。除此之外，該平台本身也可能遭駭客攻擊，目的是要取得 (並且可能不當使用) 使用者的資料，包括：使用目標企業或個人的寫作樣本來撰寫網路釣魚郵件，或用來修正拼字和文法錯誤，或是讓文字變得更具說服力。還有一種風險是使用者的資料因為駭客的提示注入或越獄手法而遭到竊取或外洩。
除此之外，有一些資安風險是使用方式所造成，與駭客沒有直接關係。例如，ChatGPT 從您這裡收到的資訊，就可能被用來訓練 LLM。還有，資料加密不足也可能造成風險，例如 ChatGPT 的 MacOS 應用程式最早推出時會使用明碼的方式來儲存使用者聊天記錄。
OpenAI 資安風險
OpenAI API 本身就很可能成為網路駭客的攻擊對象。儘管它符合 SOC 2 規範並定期進行滲透測試，但由於網路威脅不斷演變，因此您的風險永遠無法完全消除。最近一篇 Soft Kraft 文章詳細探討了 OpenAI 資料安全風險，並揭露了其中值得企業用戶特別關注的幾項風險：
- ChatGPT 的對話資料可能被用來重新訓練模型。
- 經由該 API 傳送的資料有可能在內部或外部曝光。
- 想要確保符合歐盟通用資料保護法 (General Data Protection Regulation，簡稱 GDPR) 可能會有挑戰性。
- 使用第三方委外處理廠商 (sub-processor) 可能讓地點與資料處理變得複雜。
Microsoft Copilot AI 資安風險
由於 Microsoft Copilot AI 支援了 Microsoft 365 應用程式，因此使用者可以很容易取得。此外，在硬體層面，最新標榜具備 Copilot+ 功能的電腦配備了專屬實體Copilot 鍵，讓使用者能更快速的輸入指令。在這種簡化的存取方式下，萬一讓 Copilot 可以存取機密資訊的話，有可能帶來資安風險，就如同其他生成式 AI 工具一樣。假使權限未正確設定，或者 AI 生成的文件未啟用適當的隱私權設定，您可能會面臨機密資料外洩或失竊的風險。同樣的問題也存在於使用者存取管理。最後還有針對平台本身的攻擊，有可能讓駭客改變平台存取和分享您資料的方式。
誰能協助我們管理 AI 資安風險？
AI 創新持續演進，需要的正是主動式防護，具備 35 年業界領先的威脅情報、20 年 前瞻性 AI 開發經驗以及無可匹敵的漏洞防護實力，這就是 Trend Vision One™ AI 防護。
透過我們的 AI 防護解決方案，我們能保護您關鍵的業務工作負載，包括整體 AI 堆疊，同時強化您的整體資安態勢。我們的AI 防護採用 Trend Cybertron 技術，能預測攻擊路徑並偵測異常行為，同時又能防範深偽技術與 AI 產生的攻擊，消除資安盲點，將 AI 防護轉變成創新的催化劑。