人工智慧 (AI) 風險管理是發掘、檢查及降低 AI 系統風險的過程。
目錄
了解 AI 風險管理的需求
AI 風險管理有別於一般的 IT 風險管理，因為它擁有自己的獨特挑戰，例如：不當的訓練資料、模型遭竊、演算法偏誤，以及非預期的行為。隨著 AI 的不斷演進，Forrester 表示：「持續的風險管理必須達成持續提供保障的目標1」。
AI 一直在改變企業的運作方式，包括如何因應 AI 所帶來的全新、不斷變化的資安風險。駭客有許多方法可以損壞 AI 模型，包括：篡改訓練資料、竊取珍貴的演算法，或是誘導 AI 的判斷以生成偏頗的結果。這些問題都需要專為 AI 設計的特殊監督手段以及防護技術，才能妥善防範和管理潛在風險。
AI 監督不周，不僅可能導致技術性問題，還可能讓企業因為 AI 系統故障而面臨法規罰鍰、商譽損失、財務損失，以及法律訴訟。
研究指出，當企業在評估其 AI 系統的狀況時，有 37%2 的企業認為其最大的挑戰是資安與合規的隱憂。然而這數字在 IT 領導人之間卻躍升至 44%，突顯出導入 AI 與有效管理其風險之間存在著重大落差。
發掘 AI 資安威脅
AI 系統得面對一些一般資安工具無法偵測或攔截的資安風險，了解這些威脅，有助於達成良好的風險管理。
惡意的訓練資料
駭客會在訓練資料集當中加入有害的資料來破壞 AI 模型，迫使模型出現分類錯誤，或者做出有利於駭客的偏頗判斷。
模型遭竊
聰明的駭客會藉由研究 AI 模型的輸出結果來模仿有價值的 AI 模型，藉此盜取重要的商業優勢。
對抗範例
專門設計用來欺騙 AI 系統、使其預測錯誤的輸入資料，例如，透過微小的調整來導致自駕車錯誤解讀交通號誌，或者讓臉部辨識系統認錯人。
訓練資料擷取
駭客可利用模型的輸出來推斷或重建一些敏感的屬性，甚至取得訓練資料當中的特定範例，進而透露有關個人的私密資訊。
行為分析
在正常運作下，AI 系統的行為模式大致上可以預期，但如果行為模式出現變化，有可能意味著資安或系統出現了問題。
效能追蹤
AI 模型的準確度或效能如果突然改變，有可能意味著遭到攻擊或其他資安問題。自動化監控可追蹤效能，並且警示資安團隊注意問題。
活動記錄
完整的 AI 系統活動記錄，有助於觀察系統的行為並協助調查資安事件，包括追蹤模型收到的請求、資料的存取，以及系統管理動作。
威脅情報
隨時掌握最新的 AI 資安威脅，有助於企業盡早保護自己的系統。威脅情報提供了有關最新攻擊手法及弱點的相關資訊。
AI 風險評估的重要元素
任何良好的風險評估都需要一套明確的方法來同時涵蓋技術弱點以及業務衝擊。以下是您在進行 AI 風險評估時，應該涵蓋的重要元素：
找出資產
您的企業必須追蹤整個 AI 堆疊，從模型、資料集，到開發工具和系統。您可利用自動化工具來尋找 AI 相關的雲端資源，並根據風險與業務重要性來加以排序。
AI 威脅分析
AI 威脅的分析除了涵蓋一般的軟體安全之外，還包括各種 AI 攻擊方法，例如機器學習。這樣才能發掘針對 AI 模型、訓練資料及系統的潛在攻擊途徑。
檢視衝擊
企業必須判斷 AI 系統若發生故障或資安事件，將對人員、團體和社會帶來什麼樣的影響，包括檢查是否有偏誤、違反隱私權以及安全上的問題。
衡量風險
衡量風險有助於企業將資安支出聚焦，並且明智判斷其可接受的風險程度，包括計算 AI 資安問題與違反法規可能帶來的金錢損失。
如何建立良好的 AI 治理
就像任何其他治理標準一樣，良好的 AI 治理需要橫跨不同公司部門和技術領域的團隊合作，以及明確一致的規則、控管與監控。
建立規則
企業需要一套涵蓋 AI 開發、使用及營運的完整政策。這些政策不僅應符合業務目標，還要符合法規要求以及利害關係人的期望。
明確劃分工作
明確的責任歸屬可確保 AI 風險在整個系統生命週期內都能獲得妥善的管理。這意味著要指派 AI 風險的負責人、成立監督委員會，並且建立呈報程序。
加入技術控管
專為 AI 設計的資安控管，能解決傳統網路資安無法解決的獨特風險，包括：AI 模型掃描、執行時期防護，以及特殊監控。
持續監控
AI 系統需要隨時監控以掌握其效能變化、資安問題以及違規情況。自動化監控可追蹤模型的行為，並且警示資安團隊注意問題。
AI 系統的重要資安控管
資安是做好任何風險管理的重要元素，尤其是在 AI 領域。保護 AI 系統需要多層式的防護來解決整個 AI 生命週期的風險。
開發安全
安全的開發實務可確保 AI 系統從一開始就具備安全性，包括 AI 應用程式的程式碼掃描、漏洞檢查以及安全的程式撰寫方式。
資料防護
AI 系統會接觸到許多機敏資料，因此需要特別的防護，包括：資料加密、存取控管、隱私權防護技巧等等。
模型防護
AI 模型需要防範竊盜、篡改以及攻擊，所以模型加密、存取控管與檢查有助於保護珍貴的 AI 資產。
執行時期防護
AI 應用程式在運作期間需要即時的防護來防範攻擊，包括：輸入檢查、輸出過濾，以及行為監控來發掘異常活動。
AI 風險管理的規定與法規
隨著政府制定了許多 AI 相關的規定，遵守法規變得越來越重要。根據 Forrester 指出：「代理式 AI 導入了自主式決策，因此必須符合不斷演進的法規，同時還得遵守多個司法管轄區的規定3」。一些新的法規，例如「歐盟 AI 法案」(EU AI Act)，要求 AI 系統的開發與使用必須符合某些條件。企業必須了解並遵守其領域所適用的法規。像 ISO 42001 這樣的產業標準，可提供 AI 管理系統所需的框架，協助企業展現負責任的 AI 實務。遵守這些標準可降低法規風險，提高利害關係人的信心。
AI 系統經常會處理到個人資料，因此直接牽涉到 GDPR 這類隱私權法規。企業必須保證其 AI 系統確實遵守資料保護的要求，並保留詳細的 AI 系統開發、測試及使用文件，以便在稽核期間提出合規證明。
打造一個 AI 資安團隊
為了打造一套強大的 AI 風險管理策略，您需要深入的 AI 知識並結合主動式網路資安解決方案。
必要技能
AI 資安人員須具備紮實的網路資安技能，以及對機器學習模型建構、部署及監控的基本熟練度。要保護 AI 系統，必須同時了解傳統的資安風險以及模型的行為、資料流程以及部署方式如何造成新的漏洞。這樣的能力組合並不常見，所以可以先雇用再提升其技能，而且可以善用跨部門團隊，而非期望一個人什麼都會。
訓練計畫
AI 資安訓練計畫的目的是要教導資安團隊了解 AI 特有的威脅、安全的機器學習生命週期實務、紅隊演練與事件回應、合規與隱私權，以及實作訓練。最好的作法是為工程師、分析師和領導者提供基於角色的學習路徑，並且不斷學習新知以跟上持續演變的風險。
外部支援
許多企業都與專門的 AI 資安廠商合作來補強其內部能力，這樣的合作可提供一些內部須花費大量成本開發的專業技能和工具。
持續學習
AI 資安領域瞬息萬變，因此需要持續的學習與技能培養，企業必須投資一些持續學習計畫來讓團隊隨時掌握最新的威脅與技術。
建置 AI 風險管理的商業效益
投資 AI 風險管理除了可降低風險之外，還能帶來巨大的商業價值，包括：
競爭優勢。 擁有優良 AI 治理的企業，可以更有信心且更迅速地運用 AI 系統，進而比缺乏適當風險管理的競爭對手更快創新並取得市場優勢。
建立信任。 完善的 AI 風險管理能建立客戶、合作夥伴及監理機構的信任，為需要成熟 AI 治理能力的全新商機和合作夥伴創造更大空間。
預防成本。 防範 AI 資安事件發生，可避免資料外洩、法規罰鍰以及商譽損失所帶來的巨大成本。每一起資料外洩事件的平均成本約為 445 萬美元，而 AI 相關的事件成本可能更高。
提升效率。 自動化 AI 資安控管可減少人工監督的需求，同時還能改善防護。如此一來，您的企業就能擴大 AI 使用規模，卻不會相對增加資安負擔。
開始建置 AI 風險管理
建置完善的 AI 風險管理需要一套結構化方法來讓您隨著時間逐漸培養能力。問題不在於是否要建制完整的 AI 風險管理，而是您的企業可以在多快的時間內，藉由策略性投資 AI 防護功能來達成有效的治理與競爭優勢。
- 評估與規劃
首先從全面評估您當前的 AI 情勢與資安狀況開始，找出能力上的漏洞並擬定一套計畫來加以解決。 - 快速致勝
聚焦在可立即創造價值的基本 AI 資安控管，包括 AI 資產發掘、基本監控，以及政策制定。 - 逐步建置
逐步建置 AI 風險管理功能，從風險最高的系統開始，然後隨時間逐漸擴大涵蓋範圍。這套方法有助於學習與改善，同時還能立即提供防護。 - 持續改進
AI 風險管理是一個需要不斷精進和改良的過程，定期的評估與更新可確保維持功效，還能對抗不斷變化的威脅。
哪裡可以取得有關 AI 風險管理的協助？
面對瞬息萬變的 AI，您需要一套能同樣快速演進的解決方案來跟上其腳步。Trend Vision One™ AI Security 解決方案提供了一套多層式方法來保護整個 AI 堆疊，並在該平台內運用 AI 來提升您資安團隊的營運效率。請點選以下連結來進一步了解 AI 網路資安：https://www.trendmicro.com/zh_tw/business/ai/security-ai-stacks.html
資料來源：
資料來源 1：Pollard, J., Scott, C., Mellen, A., Cser, A., Cairns, G., Shey, H., Worthington, J., Plouffe, J., Olufon, T., & Valente, A. (2025). Introducing Forrester’s AEGIS Framework: Agentic AI Enterprise Guardrails for Information Security. Forrester Research， Inc.
資料來源 2：Leone, M., & Marsh, E. (2025 January). Navigating Build-versus buy Dynamics for Enterprise-ready AI. Enterprise Strategy Group。
資料來源 3： Pollard, J., Scott, C., Mellen, A., Cser, A., Cairns, G., Shey, H., Worthington, J., Plouffe, J., Olufon, T., & Valente, A. (2025). Introducing Forrester’s AEGIS Framework: Agentic AI Enterprise Guardrails for Information Security. Forrester Research， Inc.
Fernando Cardoso 是趨勢科技產品管理副總裁，專精於不斷演進的 AI 與雲端世界。在他職業生涯的一開始，曾擔任過網路與銷售工程師，磨練了他在資料中心、雲端、DevOps 以及網路資安領域方面的技能，而這些領域至今依然能持續激發他的熱情。