採用人工智能技術，將帶來一些傳統運算環境所不存在的新漏洞，包括黑客發動的惡意網絡攻擊，以及平台與用戶行為所帶來的漏洞。
目錄
人工智能保安漏洞
開放全球應用程式安全計劃（OWASP）發現了一系列以大型語言模型和 GenAI 為基礎的人工智能漏洞。包括：
- 指令注入
- 不安全的輸出處理
- 訓練資料中毒
- 模型阻斷服務
- 供應鏈漏洞
- 敏感資訊洩漏
- 不安全的外掛程式設計
- 過量的處理機構
- 過度依賴
- 模型盜竊
這些漏洞可整合及簡化為下列核心種類：
資料相關的人工智能風險
系統一致性
登入
漏洞利用一致性的弱點
敏感資訊洩漏
模型盜竊
不安全的外掛程式
不安全的輸出處理
過量的處理機構
模型中毒
供應鏈軟件物料清單
指令注入
過度依賴人工智能
阻斷服務
模型中毒
指令注入
生態系統整合
不安全的外掛程式
不安全的輸出處理
軟件供應鏈
過量的處理機構
過度依賴人工智能
人工智能主要依賴已有資料及用戶的輸入，亦逐漸被歹徒利用作入侵數碼防護及盜竊敏感資訊。根據 Gartner® 最近的一項調查顯示，2024 年第一季出現了五項最常被引用的新興風險。的首兩位都與人工智能有關，分別為人工智能強化的惡意攻擊及人工智能協助的虛假資訊。正如 Gartner 發現，人工智能可以「協助釣魚及社交工程進行更有效的入侵行動、增加可靠性及讓攻擊更具傷害性。」
Rogue AI
Rogue AI 是人工智能與用戶的目標出現不一致。這情況可能是意外，例如一個合適的屏障失效；但亦可能是故意的，歹徒可能會設法破壞人工智能系統，或嘗試在人工智能模型植入惡意指令。
詐騙自動化
詐騙自動化是利用合成的文字、話音及/或影片透過釣魚、商務電郵詐騙或深偽影片或話音以干擾業務程序。人工智能
數據管治
人工智能系統極依賴資料，因此它使用的資料及所接觸的實時數據都必須符合所有私隱及公平使用法規，並需要主動及有效地作數據管治以減低風險。
大型語言模型保安風險
大型語言模型會面對一些重大漏洞，包括專門操縱模型行為的快速注入、暴露機密資料的敏感資訊外洩，以及不當的輸出處理，進而對下游系統發動攻擊。其他重大風險包括第三方產品相依元件的供應鏈漏洞、代理機構過度授予不必要的權限、資料中毒而危及模型完整性，以及系統透過機密指示洩漏資料。此外，黑客還會利用內嵌的漏洞、產生錯誤資訊，以及無限制的消耗攻擊來威脅大型語言模型應用程式的安全性、可靠性和可用性。
生成式人工智能保安風險涉及用戶指令
生成式人工智能利用過去及現在的資料協助用戶，因此，對需要使用指令的工具而言，用戶必須謹慎及主動思考使用甚麼指令。有些工具讓用戶選擇退出資料搜集，例如 ChatGPT 用戶可以關閉聊天紀錄。視乎人工智能的管治及相關行業監管機構的使用政策，像這樣的預防措施及/或行為可能會是維持合規的必須要求。
在人工智能應用程式輸入財務資訊、未發佈軟件的機密規格、個人辨識資訊如地址和聯絡方式、及/或其他敏感資訊，即表示此應用程式可以隨意存取這些資料。這些資料亦會有被濫用的風險，包括因應其他接獲類似查詢的工具建議而被分享及/或被歹徒入侵系統而被盜。而當生成式人工智能工具被用作協助構思或快速匯編大量數據時，假如未有充份加密或實施保安措施，便會產生風險。
ChatGPT 保安風險
作為生成式人工智能的一個形式，ChatGPT 可對用戶的指令以文本方式回應，但歹徒也會利用 ChatGPT 來掩飾及/或加強他們的釣魚攻勢。另一方面，此平台也可能被針對來存取及濫用其用戶資料，包括利用所針對機構或個人的寫作範例來編寫釣魚電郵、修改錯字、文法及語法，令電郵更具說服力。另一個風險就是用戶資料被盜及/或利用指令注入或越獄來進行入侵。
其他保安風險則源於用戶，而並非直接與歹徒有關，例如，ChatGPT 從您身上收到的資訊，就可能被用來訓練大型語言模型。但資料可能會有未充份加密的風險，就像 ChatGPT MacOS 應用程式在開始推出時只把用戶的聊天以纯文本儲存一樣。
OpenAI 保安風險
OpenAI API 本身已有被歹徒針對的潛在風險，儘管 SOC 2 已通過認證並定期接受滲透測試，但由於網絡資訊保安威脅不斷演進，因此您的風險永遠無法完全消除。最近一篇 Soft Kraft 文章詳細探討了 OpenAI 資料安全風險，並揭露了企業用戶特別感興趣的風險：
- ChatGPT 的對話資料可以被用作模型再培訓用途
- 經 API 發送的資料可以暴露在內部及外部
- 要達致歐盟通用資料保護法規將是一個重大挑戰
- 使用第三方委外廠商令地點及數據的處理更加複雜
Microsoft Copilot AI 保安風險
支援 Microsoft 365 應用程式的 Microsoft Copilot AI 已經發佈予用戶使用。在硬件層面，最新預載 Copilot+ 的個人電腦都包含實體 Copilot 鍵盤來讓用戶可更快速輸入。像其他生成式人工智能工具一樣，假如敏感資料可供 Copilot 使用，這些簡化的存取措施可能會帶來保安風險。假如沒有正確設定許可權限，或是人工智能產生的文件並未有適當的私隱設定，用戶可能會面對機密資料外洩的風險，而同樣風險亦會出現在用戶存取管理方面。最後，歹徒對平台的攻擊也會讓他們存取及分享您的資料。
誰能協助我們管理人工智能資訊保安風險？
人工智能創新的持續演進需要主動式防護的支援，具備 35 年業界領先的威脅情報、20 年人工智能開發先驅，以及無與倫比的漏洞防護的 Trend Vision One™ AI Security 正切合所需。
有了我們的人工智能防護方案，我們就能保護您的關鍵業務工作負載，包括您的整個人工智能組合，同時還能提升您的整體資訊保安狀態。我們的 AI Security 採用 Trend Cybertron 技術，能預測攻擊路徑並偵測異常狀況，同時又能防範深偽與人工智能生成的攻擊，消除資訊保安盲點，將人工智能防護變成創新的催化劑。