「LLM 诊断服务」详细请由此进入 开发并提供AI安全解决方案的CoWorker株式会社(总部:东京都新宿区,代表取缔役:山里一辉,以下简称「本公司」或「CoWorker」)已开始提供专门针对生成AI/LLM使用的 「LLM诊断服务」 。 本服务是专为本公司提供的DX服务中集成的AI应用以及企业内部AI应用所设计的专用诊断,能够全面评估LLM集成应用程序特有的风险。过去的弱点诊断服务主要针对Web应用程序及整体基础设施的弱点,而新服务则聚焦于「生成AI的安全活用」。 AI安全公司CoWorker推出「弱点诊断服务」——通过自主开发AI「Red Agent」×专家混合诊断,加速诊断并抑制重要风险的遗漏 https://prtimes.jp/main/html/rd/p/000000018.000156001.html 开发与提供的背景 生成AI应用急剧扩展与新风险 随着ChatGPT和Gemini等大型语言模型(LLM)的普及,聊天机器人和AI助手正迅速集成到企业的DX服务和内部业务中。然而,提示注入、信息泄漏、输出滥用等LLM特有的弱点也日益显现,传统弱点诊断难以侦测的案例正在增加。 本公司基于OWASP定义的LLM Top 10风险,开发了支持生成AI安全应用程序的新诊断服务。 OWASP定义的LLM Top 10风险: Open Worldwide Application Security Project (OWASP) 制定了一份清单,汇总了针对大型语言模型(LLM)应用程序的10项最严重的安全威胁与风险。该清单旨在应对生成AI和AI应用程序开发与实施过程中,安全人员和开发者面临的新兴弱点,并于2023年制定。 OWASP Gen AI Security Project https://genai.owasp.org/llm-top-10/ 诊断方法 多方面评估LLM特有风险 LLM诊断服务结合以下三种方法,评估使用生成AI的系统整体安全性。 渗透测试诊断 在接近实际运行环境的条件下,尝试对聊天机器人或AI代理进行攻击,验证提示注入、权限提升、认证/授权缺陷等问题。 MCP服务器诊断 检查LLM代理所使用的工具集成及API调用部分,确认认证、授权、输入验证、机密信息管理以及API调用的妥当性。 原代码诊断 对LLM集成部分的代码库或API规格书进行静态分析,评估输入验证的实施和提示建构的安全性。 主要特点 专为生成AI安全应用而设的诊断 LLM诊断服务通过采用自主开发AI「Red Agent」与资深工程师的混合诊断,实现了速度、精度与成本的平衡。主要特点如下。 速度 AI代理自动化诊断,将过去需要数天的LLM安全性验证缩短至数小时。 高精度 Red Agent在弱点诊断基准测试中达到了 89.1%的检测率 ,AI分析基于公开弱点信息(CVE)及各种Web攻击场景的多样化测试模式。进一步结合专家审核,提供高精度的诊断结果。 低成本 AI负责标准化工作,相较于传统诊断费用,可大幅节省成本。 贴近实务的报告 检测结果包含风险等级、影响范围、重现步骤、攻击场景、改善建议,提供与生成AI导入项目营运直接相关的建议。 「LLM诊断服务」提供流程 ① 访谈 联系后,通过在线会议确认诊断对象概要与需求,并提出最适诊断方案。 ② 诊断运行 根据您提供的原代码及API端点信息,利用Red Agent运行诊断,并由专家确认与评估结果。必要时也将并用黑盒子形式测试。 ③ 人工审核 经验丰富的安全工程师将严格审查AI结果,并汇整为包含风险评估、优先级排列及改善对策的报告。 ④ 报告书交付 从诊断开始后最短3个工作日内以PDF格式交付报告书。对于重大问题,亦可提供即时通知。 ⑤ 改善支持 提供修正弱点所需的技术建议及再诊断服务。 推荐给以下企业 以下情况推荐使用本服务: 开发与提供利用生成AI的DX服务或产品的企业 在公司内部使用聊天机器人或AI助手的开发部门・业务部门 希望在使用外部LLM API时,降低提示注入及数据泄漏风险的组织 希望在生成AI导入初期阶段确认安全需求的项目 详细请由此进入 专业团队介绍 CoWorker的弱点诊断服务,除了AI自动诊断外,一大特色是由精通安全的专家团队进行审核与支持。本公司由以下专业人士合作,守护您的系统。 AI研究员・开发者 负责AI算法及大型语言模型的研究开发,实现弱点诊断的精度提升与高速化。从AI×Security×R D三个领域进行集成性思考,从研发阶段到社会实装都进行一贯性的努力。 渗透测试专家 精通实际攻击手法的红队经验者将验证AI的诊断结果,找出高风险的弱点。通过攻击者的视角补充诊断,也能应对仅靠AI代理无法发现的复杂问题。 产业经验工程师 拥有保险、教育、医疗、汽车、基础设施等多元产业领域经验