「LLM 诊断服务」详细请由此进入 开发并提供AI安全解决方案的CoWorker株式会社（总部：东京都新宿区，代表取缔役：山里一辉，以下简称「本公司」或「CoWorker」）已开始提供专门针对生成AI/LLM使用的 「LLM诊断服务」 。 本服务是专为本公司提供的DX服务中集成的AI应用以及企业内部AI应用所设计的专用诊断，能够全面评估LLM集成应用程序特有的风险。过去的弱点诊断服务主要针对Web应用程序及整体基础设施的弱点，而新服务则聚焦于「生成AI的安全活用」。 AI安全公司CoWorker推出「弱点诊断服务」——通过自主开发AI「Red Agent」×专家混合诊断，加速诊断并抑制重要风险的遗漏 https://prtimes.jp/main/html/rd/p/000000018.000156001.html 开发与提供的背景 生成AI应用急剧扩展与新风险 随着ChatGPT和Gemini等大型语言模型（LLM）的普及，聊天机器人和AI助手正迅速集成到企业的DX服务和内部业务中。然而，提示注入、信息泄漏、输出滥用等LLM特有的弱点也日益显现，传统弱点诊断难以侦测的案例正在增加。 本公司基于OWASP定义的LLM Top 10风险，开发了支持生成AI安全应用程序的新诊断服务。 OWASP定义的LLM Top 10风险： Open Worldwide Application Security Project (OWASP) 制定了一份清单，汇总了针对大型语言模型（LLM）应用程序的10项最严重的安全威胁与风险。该清单旨在应对生成AI和AI应用程序开发与实施过程中，安全人员和开发者面临的新兴弱点，并于2023年制定。 OWASP Gen AI Security Project https://genai.owasp.org/llm-top-10/ 诊断方法 多方面评估LLM特有风险 LLM诊断服务结合以下三种方法，评估使用生成AI的系统整体安全性。 渗透测试诊断 在接近实际运行环境的条件下，尝试对聊天机器人或AI代理进行攻击，验证提示注入、权限提升、认证/授权缺陷等问题。 MCP服务器诊断 检查LLM代理所使用的工具集成及API调用部分，确认认证、授权、输入验证、机密信息管理以及API调用的妥当性。 原代码诊断 对LLM集成部分的代码库或API规格书进行静态分析，评估输入验证的实施和提示建构的安全性。 主要特点 专为生成AI安全应用而设的诊断 LLM诊断服务通过采用自主开发AI「Red Agent」与资深工程师的混合诊断，实现了速度、精度与成本的平衡。主要特点如下。 速度 AI代理自动化诊断，将过去需要数天的LLM安全性验证缩短至数小时。 高精度 Red Agent在弱点诊断基准测试中达到了 89.1%的检测率 ，AI分析基于公开弱点信息（CVE）及各种Web攻击场景的多样化测试模式。进一步结合专家审核，提供高精度的诊断结果。 低成本 AI负责标准化工作，相较于传统诊断费用，可大幅节省成本。 贴近实务的报告 检测结果包含风险等级、影响范围、重现步骤、攻击场景、改善建议，提供与生成AI导入项目营运直接相关的建议。 「LLM诊断服务」提供流程 ① 访谈 联系后，通过在线会议确认诊断对象概要与需求，并提出最适诊断方案。 ② 诊断运行 根据您提供的原代码及API端点信息，利用Red Agent运行诊断，并由专家确认与评估结果。必要时也将并用黑盒子形式测试。 ③ 人工审核 经验丰富的安全工程师将严格审查AI结果，并汇整为包含风险评估、优先级排列及改善对策的报告。 ④ 报告书交付 从诊断开始后最短3个工作日内以PDF格式交付报告书。对于重大问题，亦可提供即时通知。 ⑤ 改善支持 提供修正弱点所需的技术建议及再诊断服务。 推荐给以下企业 以下情况推荐使用本服务： 开发与提供利用生成AI的DX服务或产品的企业 在公司内部使用聊天机器人或AI助手的开发部门・业务部门 希望在使用外部LLM API时，降低提示注入及数据泄漏风险的组织 希望在生成AI导入初期阶段确认安全需求的项目 详细请由此进入 专业团队介绍 CoWorker的弱点诊断服务，除了AI自动诊断外，一大特色是由精通安全的专家团队进行审核与支持。本公司由以下专业人士合作，守护您的系统。 AI研究员・开发者 负责AI算法及大型语言模型的研究开发，实现弱点诊断的精度提升与高速化。从AI×Security×R D三个领域进行集成性思考，从研发阶段到社会实装都进行一贯性的努力。 渗透测试专家 精通实际攻击手法的红队经验者将验证AI的诊断结果，找出高风险的弱点。通过攻击者的视角补充诊断，也能应对仅靠AI代理无法发现的复杂问题。 产业经验工程师 拥有保险、教育、医疗、汽车、基础设施等多元产业领域经验