MONO BRAIN 开源实践性AI安全验证环境「Model Security Range」

Q: 什么是Model Security Range？

它是一个开源验证框架，允许对故意存在漏洞的AI应用程序运行可重现的攻击、评估和恢复进程。

Q: 可以验证哪些攻击情境？

涵盖范围广泛，包括提示注入、工具滥用、间接提示注入、供应链漏洞和数据污染等。

Q: 谁可以使用它？

AI开发者、安全人员、研究人员、学生以及AI治理和审计合规的实务人员等广泛用户都可以使用。

株式会社MONO BRAIN（总公司：东京都涩谷区，代表董事：加藤 真规）宣布开源发布实践性AI安全验证环境「Model Security Range」。 什么是Model Security Range？ 「Model Security Range」是一个框架，允许对故意存在漏洞的AI应用程序运行可重现的攻击、评估和恢复进程。它被配置为能够在实作层面而非仅仅理论层面，验证在实际操作中容易出现问题的攻击类别，例如提示注入、工具权限滥用和模型污染。 ▼ GitHub保存库（免费公开） https://github.com/monobrain-development/model-security-range ■ 本次公开的重点 ・可运行的AI漏洞情境，以应用程序主体和攻击代码的组合形式公开。 ・标准化设置、攻击运行和恢复，实现高度可重现的验证。 ・可跨RAG、代理、OCR、机器学习模型等多种模式进行评估。 ・AI开发者、安全负责人、研究人员可作为共同验证平台使用。 ■ 公开背景 尽管生成式AI在业务中的应用不断推进，但对AI系统的威胁已无法仅凭传统的网络安全来全面掌握。 例如，由于提示注入导致的内部信息泄露、与外部工具链接时过度权限的滥用、以及针对营运数据或学习过程的污染攻击等，AI特有的攻击面正在迅速扩大。 然而，在实务中，仍然存在「无法重现攻击，因此无法评估对策的有效性」和「负责人验证方法不同，无法比较结果」等问题。 「Model Security Range」旨在解决这些实务挑战。通过明确攻击步骤和评估目标，并提供一个无论谁运行都能在相同条件下进行验证的环境，从而推动AI安全的实作和营运。 ■ Model Security Range概述 「Model Security Range」的构成理念如下： ・准备故意存在漏洞的应用程序，明确攻击成立条件。 ・针对每个攻击情境，独立管理设置、运行和恢复。 ・提供强调可重现性、透明度和可测量性的验证工作流程。 ・不仅适用于一次性演示，还可用于持续的强化学习。 ■ 目前公开的主要验证情境 1. 提示注入（RAG聊天机器人 / Gemma 3 4B） ・通过注入RAG上下文导致机密信息泄露 ・诱导揭露嵌入式知识文件 ・系统提示泄露 2. 工具滥用（带数据库的代理 / Gemma 3 4B） ・通过滥用过度权限工具导致数据外泄 ・通过命令劫持运行破坏性SQL 3. 间接提示注入（AI OCR / Gemma 3 4B） ・通过文件上传间接诱导越狱 4. 供应链漏洞（信用评估 / ML） ・受污染学习成果导致的目标式后门行为 5. 数据污染（垃圾邮件分类 / ML） ・通过利用回馈循环导致分类器性能下降 ■ 使用情境 ・内部AI应用程序发布前的安全验证 ・红队／蓝队联合演习 ・开发者教育、实作训练、研究用途的攻击重现 ・实施对策后的回归确认 ■ 推荐给以下人士 ・开发和营运利用生成式AI产品的工程师 ・希望创建AI安全评估标准进程的安全负责人 ・推进AI风险实证研究的研究人员、学生 ・负责AI治理和审计合规的实务人员 ■ 使用注意事项 本项目为教育和验证目的而公开。公开的情境中故意包含脆弱的实作。 请勿将其用于攻击生产环境或未经授权的目标。请遵守适用法律、组织政策和合约条款，并在受控环境中使用。 ■ 关于AI安全平台「MODEL SAFE」 「MODEL SAFE」是一个AI安全平台，支持AI设计、开发、营运的集成管理，协助AI以「事后可解释的状态」运行。 通过AI供应链的可视化、变更管理、运行时监控和控制，全面支持技术安全性、营运统制和法规遵循。 正在创建治理体系或可视化风险的企业，欢迎洽询。 ▼ 洽询 https://modelsafe.jp/contact ▼ MODEL SAFE 服务介绍 https://modelsafe.jp/

常見問題