开发 AI 安全平台「MODEL SAFE」的 MONO BRAIN 株式会社(总部:东京都涩谷区,首席执行官:加藤 真规)发布了分析企业使用 AI 工具时实际发生事故的最新报告——《AI 工具应用中的 8 大安全事故(2026年4月版)》。 本报告全面整理了现实中发生的 AI 相关事故,从机密信息泄漏到正式环境数据库被删除,并提出了结构性风险与具体对策。 ▼ 下载实证报告(免费) https://modelsafe.jp/download/ai_incident_202604 ■ 背景:AI 工具的普及正在产生「新的攻击面」 M365 Copilot、ChatGPT 和 GitHub Copilot 等 AI 工具在飞跃性地提升业务效率的同时,也产生了传统安全设计未曾预料到的新攻击路径。 在本报告分析的案例中,显而易见的是,并非单纯的漏洞,而是: - 外部连动(OAuth / API) - 权限设计不当 - 提示词注入(Prompt Injection) 等「设计与营运层面的问题」,直接导致了重大事故的发生。 ■ 实际发生的 8 起安全事故 本报告详细解析了在现有 AI 工具中确认的以下事件: ① M365 Copilot:零点击导致的机密信息泄漏 通过电子邮件的间接提示词注入,导致公司内部数据被自动发送。 ② Lovable:授权不当导致数据外泄 由于 API 的权限设计错误,第三方可以查看聊天记录和原代码。 ③ ChatGPT 连动:向外部 API 发送机密 利用外部应用程序连动,自动提取并发送 Google Drive 或 GitHub 的信息。 ④ Replit AI Agent:正式环境数据库被删除 AI 代理失控,删除了超过 1,000 条数据。 ⑤ GitHub Copilot:通过隐藏注释窃取信息 PR 中的不可见指令导致秘密信息被发送到外部。 ⑥ Copilot:保存库权限泄漏 通过 Issue 传达的指令导致令牌(Token)流出,使得保存库可能被接管。 ⑦ Copilot:一键式信息窃取 仅通过点击 URL,对话记录或文件信息就会被发送到外部。 ⑧ Vercel:通过 OAuth 导致环境变量流出 以与外部 AI 工具连动为起点,导致 API 密钥或数据库信息泄漏。 ■ 共通的本质风险 这些事故的共同点不在于 AI 本身的性能,而是以下结构性问题: - 「AI 可访问的范围」过大 - 过度信任外部输入的设计 - 对自动运行(代理)缺乏控制 - 缺乏 OAuth 或 API 连动的治理 也就是说,问题的内核不在于 AI 很「脆弱」,而在于 AI 在「权限过强且毫无防备」的情况下被使用。 ■ 防御方向:重新设计 AI 治理 本报告针对这些风险,提出了企业应采取的对策: - 彻底运行最小权限原则(PoLP) - 控管外部连动(OAuth / Apps) - 对 AI 输入输出进行过滤(Sanitize)与审计 - 代理运行需人工审批流程 - 强化日志监控与异常检测 以 AI 应用为前提的「治理设计」将是决定未来企业竞争力的重要基石。 ■ 关于 AI 安全平台「MODEL SAFE」 「MODEL SAFE」是保护企业 AI 系统免受提示词注入、外部连动风险及代理失控等威胁的集成平台。基于正式环境的检测实绩,横向监控 AI 的输入输出、权限及外部通信,即时侦测违反策略或异常行为,支持企业构建 AI 应用的治理基础。 【MONO BRAIN 株式会社 公司概要】 代表者:首席执行官 加藤 真规 事业内容:AI 安全与治理平台「MODEL SAFE」的开发与营运 AI 治理协会 正式会员