人工智能管理是利用人工智能系統來發掘、檢查及降低風險的過程。
目錄
了解人工智能管理的需求
人工智能管理與一般的資訊科技管理不同，因為它面對獨特的挑戰，例如訓練資料不足、模型失竊、演算法偏差及非預期的行為。隨著人工智能的永不停止的演進，Forrester 表示：「必須持續進行風險管理以確保安全」1。
人工智能持續改變企業的運作方式，包括他們如何對應最新且不斷變化的資訊保安風險。黑客會混淆訓練資料、竊取重要的演算法，或誘騙人工智能作出不恰當決策，從而破壞人工智能模型。這些問題需要專為人工智能設計的特殊監督和技術防護，才能妥善防範及管理潛在風險。
人工智能的監督缺失不僅可能導致技術上的故障，更可能引致人工智能系統故障時面臨法規懲處、商譽損失、財務損失及法律訴訟。
研究顯示，37%2 機構在評估其人工智能系統時都認為資訊保安與合規是他們面臨的最大挑戰。在資訊科技領導中，此數字更增加至 44%，凸顯出採用人工智能與有效管理風險之間的重大差距。
尋找人工智能保安威脅
人工智能系統所面對的資訊保安風險並非一般保安工具可以偵測或攔截。了解這些威脅有助於良好管理風險。
不良的訓練資料
犯罪分子會在數據訓練中增加有害資料來破壞人工智能模型。這迫使模型將物件錯誤分類，或做出不恰當的決策定來協助黑客。
模型被竊
聰明的黑客可複製重要的人工智能模型，研究其成果並取得重要的商業優勢。
對抗範例
故意輸入專門設計來欺騙人工智能系統的資料，令系統作出錯誤的預測。例如，微調數據可能導致自動駕駛車輛誤讀交通號誌，或是令人臉識別系統辨別了錯誤的人。
訓練資料擷取
黑客利用模型的輸出來推斷或重建敏感屬性，甚至從訓練資料中建構特定範例，進而揭露個人的私密資訊。
行為分析
人工智能系統在正常運作過程中會顯示可預測的模式。留意這些模式的改變，可能預示著出現資訊保安問題或系統問題。
效能追蹤
人工智能模型的準確度或效能突然改變，可能顯示遭到攻擊或其他保安問題。自動化監控可追蹤效能，並且警示資訊保安團隊如何解決問題。
活動記錄
完整記錄人工智能系統活動及顯示系統行為，有助於調查保安事件。包括追蹤對模型的請求、資料存取及系統管理動作。
威脅情報
隨時掌握最新的人工智能保安威脅，有助企業盡早保護自己的系統。威脅情報提供了最新攻擊手法與弱點的相關資訊。
人工智能風險評估的關鍵要素
任何良好的風險評估都需要一套明確方法來解決技術上的弱點和業務影響。以下是您在進行人工智能風險評估時，應該要解決的重要問題：
尋找資產
企業必須追蹤整個人工智能組合，從模型、資料集到開發工具和系統。您可利用自動化工具來尋找人工智能相關的雲端資源，並根據風險與業務重要性來排序。
人工智能威脅分析
人工智能威脅分析超越了一般的軟件防護，包括了機器學習在內的各種人工智能攻擊手法。如此就能發掘針對人工智能模型、訓練資料及系統的潛在攻擊途徑。
衝擊審查
企業必須判斷人工智能系統故障或資料外洩對人員、團體和社會有何影響。包括檢查偏差、違反私隱及安全問題。
風險衡量
衡量風險有助企業有效應用資訊保安預算，並針對可接受的風險等級作出明智決策。包括計算因人工智能保安問題與違反合規而造成的潛在損失。
如何建立強大的人工智能管治
如同任何管治標準一樣，強大的人工智能管治需要公司橫跨不同領域和技術的團隊合作，以及明確一致的規則、管控和監控。
建立規則
企業需要一套涵蓋人工智能開發、使用與運作的完整政策。這些政策應符合業務目標，同時符合法規要求及持份者的期望。
設定明確的工作
明確的責任可確保人工智能風險在整個系統生命週期都能獲得妥善管理。這意味著要將委任人工智能風險負責人、成立監督委員會，以及建立呈報程序。
新增技術管控
專為人工智能設計的資訊保安管控，能解決傳統網絡資訊保安無法解決的獨特風險。包括人工智能模型掃描、運作期防護及特殊監控。
持續監控
人工智能系統需要隨時受監控以掌握效能變化、保安問題及違反合規的情況。自動化監控可追蹤模型的行為，並且警示資訊保安團隊注意問題。
人工智能系統的重要資訊保安管控
保安是任何良好管理的重要環節，尤其是在人工智能領域。保護人工智能系統需要多層式防護來解決人工智能生命週期的風險。
開發資訊保安
安全開發可確保人工智能系統從一開始就具備防護功能。這包括掃描人工智能應用程式的編碼、漏洞檢查與保安編碼。
資料防護
人工智能系統可處理許多需要特殊防護的敏感資料。包括資料加密、存取管控及私隱技巧。
模型防護
人工智能模型需要防範失竊、篡改及攻擊。模型加密、存取管控及檢查，有助於保護重要的人工智能資產。
運作期防護
人工智能應用程式在運作過程中需要實時防範攻擊。包括輸入驗證、輸出過濾，以及行為監控來偵測異常活動。
人工智能管理的規則與法規
隨著政府制定了人工智能相關規則，合規變得越來越重要。根據 Forrester 表示：「代理式人工智能導入自主決策，因此必須符合不斷演進的法規，同時在多個司法管轄區內維持法規一致性」3。新的法規，如歐盟人工智能法案，為制定和使用人工智能系統設訂特定條件。企業必須了解並遵守其領域適用的法規。像 ISO 42001 這樣的產業標準，為人工智能管理提供框架來協助企業展現負責任的人工智能實務。遵守這些標準可降低法規風險，提升持份者的信心。
人工智能系統經常會處理個人資料，令到像歐盟通用資料保護法規這類私隱權法規更為相關。企業必須確保其人工智能系統確實遵守資料要求，並保留人工智能系統開發、測試與使用的詳細文件，以便在稽核期間證明合規。
打造一個人工智能保安團隊
為了建立一套強大的人工智能管理策略，您需要具備深入的人工智能知識並結合主動的網絡資訊保安方案。
必要的技能
人工智能保安專業人員在建構、部署及監控機器學習模型時，需要強大的網絡資訊保安技能以及基本的流暢度。要保護人工智能系統，必須同時了解傳統的資訊保安風險，以及模型行為、資料流程和部署方式可能產生的新漏洞。這樣的組合並不常見，因此，企業應聘用專職員工並提升現有團隊的技能，並善用跨部門團隊，而非期望一個人就可以了解並認識所有。
訓練計劃
人工智能保安訓練計劃可教導資訊保安團隊人工智能特有的威脅、安全的機器學習生命週期實務、紅隊演練與事件回應、合規與私隱，並包括親身實踐實驗室。最好的方式是為工程師、分析師和領導提供角色為基的路徑，並且持續更新以跟上不斷演變的風險。
外部支援
許多機構都與專門的人工智能保安廠商合作來補強其內部功能。這些合作提供了專業能力和工具，而無須在機構內部以非常昂貴的方式開發。
持續學習
人工智能保安領域瞬息萬變，需要持續的教育與技能培訓。企業必須投入持續不斷的學習計劃，讓團隊隨時掌握最新的威脅與技術。
實施人工智能管理所帶來的商業效益
投資人工智能管理不僅可降低風險，更帶來了重大的商業價值，包括：
競爭優勢 擁有強大人工智能管治的企業，能夠更有信心、更迅速地使用人工智能系統，因此在缺乏適當管理的情況下，能比競爭對手更快地創新並取得市場優勢。
建立信任 完整的人工智能管理能建立客戶、合作夥伴及法規機構的信任，為需要成熟人工智能治理功能的新商機與合作夥伴創造更多空間。
成本預防。 防範人工智能資訊保安事件，可避免資料、法規罰鍰、商譽損失等損失。資料的平均成本是 445 萬美元，人工智能 相關事件的成本可能更高。
提升效率 自動化人工智能保安控管可降低手動監督的需求，同時提供更好的防護。如此一來，您的企業就能擴充人工智能使用量，而不需按比例增加保安負擔。
認識人工智能管理
建構完整的人工智能管理需要一套結構化方式來開發功能。問題不在於是否要實施完整的人工智能管理，而是您的企業能多快地透過策略性投資人工智能保安功能來達成有效的管治與取得優勢。
- 評估與規劃
從完整評估您目前的人工智能環境與資訊保安狀況開始。找出功能漏洞並擬定解決計劃。 - 快速取勝
專注提供即時價值的基本人工智能保安管控。包括人工智能資產發掘、基本監控及政策制定。 - 逐步設定
逐步建立人工智能管理功能，從風險最高的系統開始，隨著時間推移而擴大涵蓋範圍。這方法有助於學習與改善，同時提供即時防護。 - 持續改進
人工智能管理是一個持續的過程，需要不斷精進和改善。定期評估與更新可確保功能維持有效並防範不斷演變的威脅。
哪裡可以取得人工智能管理的協助？
隨著人工智能的不斷變化，您需要一套能快速演進來跟上腳步的方案。Trend Vision One™ 人工智能防護方案提供一套多層式方法來保護整個人工智能組合，並在平台上運用人工智能來提升資訊保安團隊的運作效率。進一步了解人工智能網絡保安，請至：https：//https://www.trendmicro.com/en_us/business/ai/security-ai-stacks.html
資料來源：
資料來源 1：Pollard, J., Scott, C., Mellen, A., Cser, A., Cairns, G., Shey, H., Worthington, J., Plouffe, J., Olufon, T., & Valente, A. (2025). Introducing Forrester’s AEGIS Framework: Agentic AI Enterprise Guardrails for Information Security. Forrester Research， Inc.
資料來源 2：Leone， M. & Marsh， E. （2025 年 1 月）。Navigating Build-versus buy Dynamics for Enterprise-ready AI. Enterprise Strategy Group。
資料來源 3：Pollard, J., Scott, C., Mellen, A., Cser, A., Cairns, G., Shey, H., Worthington, J., Plouffe, J., Olufon, T., & Valente, A. (2025). Introducing Forrester’s AEGIS Framework: Agentic AI Enterprise Guardrails for Information Security. Forrester Research， Inc.
Fernando Cardoso 是趨勢科技產品管理副總裁，專長於不斷演進的人工智能與雲端世界。他的職業生涯由擔任網路與銷售工程師開始，並在數據中心、雲端、DevOps 及網絡資訊保安領域都具備優異技能，而他對這些領域依然煥發了無比熱情。
Fernando 在網絡資訊保安產業擁有超過 13 年經驗，曾帶領過多項雲端防護、DevSecOps 及人工智能防護計劃，並與全球客戶及策略合作夥伴密切合作，如 AWS、NVIDIA 和 Microsoft。此外，他還是全球知名意見領袖，經常擔任演講嘉賓，包括 AWS re：Invent 到 NVIDIA GTC 以及 Black Hat 的人工智能高峰會。
Fernando 帶領全球產品經理團隊，推動上市策略、進行市場研究，並提供創新技術來持續塑造安全、智慧雲端環境的未來。