生成式AI正在改變企業的工作模式,也讓駭客的攻擊手法出現重大轉變。全球最大開源AI社群平台Hugging Face日前揭露一起特殊的資安事件:攻擊者並非傳統駭客手動操作,而是透過自主AI代理(AI Agent)完成整起入侵流程。事件在系統中留下超過17,000筆事件紀錄,並成功取得部分內部資料集與服務憑證。

事件發生後,Hugging Face原計畫使用主流商用AI模型協助分析攻擊過程,卻因安全護欄(Guardrails)限制而遭拒絕。最終,團隊改採中國AI新創Z.ai推出的開源模型GLM 5.2完成鑑識工作,也讓產業界再度掀起「商用AI與開源AI,何者更適合企業」的激烈討論。

AI代理成新型駭客:攻擊全程近乎自動化

Hugging Face於7月16日公布調查結果,指出本次事件最大的不同,在於攻擊流程幾乎完全由AI代理自主執行。官方表示,攻擊者利用資料集處理流程中的兩項漏洞:

1. 遠端程式碼(Remote Code)資料集載入功能 2. 資料集設定檔中的模板注入(Template Injection)漏洞

這兩項漏洞串接後,AI代理便能在處理節點執行惡意程式,再橫向移動至內部叢集,進一步竊取雲端憑證與服務金鑰。Hugging Face形容,這些AI代理就像「一群跑在短命沙盒裡的自動化小程式」。換句話說,它們會在大量臨時建立的執行環境中分頭行動,完成任務後立即消失,再由新的代理接手,因此極難追蹤其行蹤。甚至指揮控制(C2)基礎設施也會自行搬移,寄生於公開服務上,大幅增加追蹤難度。整起事件共留下超過17,000筆事件紀錄,顯示AI代理已具備相當成熟的自主攻擊能力。

商用AI拒絕協助防禦,攻擊者卻如入無人之境

真正讓Hugging Face感到棘手的,並非入侵本身,而是事後的資安鑑識。資安團隊需要將大量真實攻擊指令、Exploit Payload、C2控制程式等內容交給AI分析,但這些內容正好觸發商用AI安全護欄的攔截條件。結果是:攻擊者可自由使用AI,防守方卻被AI拒絕。

Hugging Face甚至明確指出:「攻擊者不受任何使用政策約束,我們自己的鑑識工作卻被一開始採用的託管模型護欄擋住。」雖然未點名是哪一家AI模型,但表示最初使用的是「託管模型(Hosted Models)」,外界普遍推測為目前市場主流的大型商用AI服務。

中國GLM 5.2意外成為救火英雄

在商用模型無法協助分析後,Hugging Face改採中國AI新創Z.ai於今年6月發布的開源模型GLM 5.2。這款模型擁有約7,530億參數,最大優勢不在跑分,而在於可部署於企業自有伺服器。

由於模型完全掌握在企業手中,不受外部平台內容限制,因此可直接分析惡意程式、Payload與C2資料,完成完整鑑識流程。Hugging Face執行長Clem Delangue坦言:「當你正在處理一起進行中的事故時,你不能讓工具拒絕檢視惡意Payload,甚至反過來標記你的帳號。」

AI安全護欄正成為企業資安的新難題?

這起事件最大的啟示,並非哪一家模型較強,而是AI安全護欄(Guardrails)正出現新的兩難。目前多數商用AI模型會攔截以下內容:

- 惡意程式 - Exploit程式碼 - 駭客工具 - 指揮與控制(C2)內容 - 惡意Payload

這些限制原為防止AI被用於攻擊,但問題在於:AI只看內容,無法分辨使用者是攻擊者或防守方。因此,企業在進行事件調查時,也可能遭模型拒絕回應。Zero Networks資深技術長Chris Boehm指出,這正是當前AI資安最大的諷刺:原本設計來保護企業的AI安全機制,反而延誤了真正的資安應變。

AI代理攻擊時代正式來臨

Hugging Face表示,目前無證據顯示公開模型、資料集、Spaces或軟體供應鏈遭竄改,受影響範圍主要集中於部分內部資料集與服務憑證,後續調查仍持續進行。

然而,這起事件的重要性,恐怕遠超過一次單純的駭客入侵。過去,AI主要協助企業提升效率;如今,自主AI代理已開始協助駭客自動尋找漏洞、執行攻擊、橫向移動甚至隱藏蹤跡,而企業在防守時,又可能受到商用AI護欄限制。這也意味著,未來AI競爭的焦點,恐怕不再只是模型能力,而是企業能否在安全與可控之間取得平衡。

FACT BOX · 重點整理

  • 來源:PR Times
  • 分類:新聞
  • 相關組織:Hugging Face / Z.ai
  • 原文日期:July 16
  • 產品、服務:Hugging Face Platform / GLM 5.2