開發 AI 安全平台「MODEL SAFE」的 MONO BRAIN 株式會社(總部:東京都澀谷區,執行長:加藤 真規)發布了分析企業使用 AI 工具時實際發生事故的最新報告——《AI 工具應用中的 8 大安全事故(2026年4月版)》。
本報告全面整理了現實中發生的 AI 相關事故,從機密資訊洩漏到正式環境資料庫被刪除,並提出了結構性風險與具體對策。
▼ 下載實證報告(免費) https://modelsafe.jp/download/ai_incident_202604
背景:AI 工具的普及正在產生「新的攻擊面」
M365 Copilot、ChatGPT 和 GitHub Copilot 等 AI 工具在飛躍性地提升業務效率的同時,也產生了傳統安全設計未曾預料到的新攻擊路徑。
在本報告分析的案例中,顯而易見的是,並非單純的漏洞,而是: - 外部連動(OAuth / API) - 權限設計不當 - 提示詞注入(Prompt Injection) 等「設計與營運層面的問題」,直接導致了重大事故的發生。
實際發生的 8 起安全事故
本報告詳細解析了在現有 AI 工具中確認的以下事件:
① M365 Copilot:零點擊導致的機密資訊洩漏 透過電子郵件的間接提示詞注入,導致公司內部數據被自動發送。
② Lovable:授權不當導致數據外洩 由於 API 的權限設計錯誤,第三方可以查看聊天記錄和原始碼。
③ ChatGPT 連動:向外部 API 發送機密 利用外部應用程式連動,自動提取並發送 Google Drive 或 GitHub 的資訊。
④ Replit AI Agent:正式環境資料庫被刪除 AI 代理失控,刪除了超過 1,000 條數據。
⑤ GitHub Copilot:透過隱藏註釋竊取資訊 PR 中的不可見指令導致秘密資訊被發送到外部。
⑥ Copilot:儲存庫權限洩漏 透過 Issue 傳達的指令導致令牌(Token)流出,使得儲存庫可能被接管。
⑦ Copilot:一鍵式資訊竊取 僅透過點擊 URL,對話記錄或檔案資訊就會被發送到外部。
⑧ Vercel:透過 OAuth 導致環境變數流出 以與外部 AI 工具連動為起點,導致 API 金鑰或資料庫資訊洩漏。
共通的本質風險
這些事故的共同點不在於 AI 本身的性能,而是以下結構性問題: - 「AI 可訪問的範圍」過大 - 過度信任外部輸入的設計 - 對自動執行(代理)缺乏控制 - 缺乏 OAuth 或 API 連動的治理
也就是說,問題的核心不在於 AI 很「脆弱」,而在於 AI 在「權限過強且毫無防備」的情況下被使用。
防禦方向:重新設計 AI 治理
本報告針對這些風險,提出了企業應採取的對策: - 徹底執行最小權限原則(PoLP) - 控管外部連動(OAuth / Apps) - 對 AI 輸入輸出進行過濾(Sanitize)與審計 - 代理執行需人工審批流程 - 強化日誌監控與異常檢測
以 AI 應用為前提的「治理設計」將是決定未來企業競爭力的重要基石。
關於 AI 安全平台「MODEL SAFE」
「MODEL SAFE」是保護企業 AI 系統免受提示詞注入、外部連動風險及代理失控等威脅的整合平台。基於正式環境的檢測實績,橫向監控 AI 的輸入輸出、權限及外部通信,即時偵測違反策略或異常行為,支援企業構建 AI 應用的治理基礎。
【MONO BRAIN 株式會社 公司概要】 代表者:執行長 加藤 真規 事業內容:AI 安全與治理平台「MODEL SAFE」的開發與營運 AI 治理協會 正式會員
FACT BOX · 重點整理
- 來源:PR TIMES
- 分類:調查
- 相關組織:Microsoft (M365 Copilot) / OpenAI (ChatGPT) / GitHub (GitHub Copilot)
- 原文日期:2026年4月
- 產品、服務:MODEL SAFE