Priv Tech株式会社(总公司:东京都港区,代表董事:中道 大辅,以下简称Priv Tech)已开始提供「AI风险检查器」这项新产品,作为其「AI风险管理服务」的一部分,旨在支持企业在AI应用中的风险管理。该工具将在未来逐步扩展功能。 ■ 背景与目的 近年来,企业对生成式AI的应用迅速扩大,但同时也面临着AI特有风险的挑战,例如幻觉(生成错误信息)、不当回应、信息泄露和品牌损害。特别是随着将大型语言模型(LLM)集成到企业活动中的案例不断增加,例如客户服务聊天机器人或内部AI助理,越来越多的企业面临「不知道AI可信度到何种程度」以及「缺乏完善的评估标准和检查体系」等问题。 此外,日本企业不仅需要单纯的对错判断,还需要应对敬语表达、品牌语气以及日本特有的伦理观念等,这些是海外工具往往无法充分涵盖的。 基于这些背景,Priv Tech利用其在AI治理支持方面的知识,推出了AI风险评估工具「AI风险检查器」。 ■ 服务特色 「AI风险检查器」是一个LLM评估系统,它分析企业网站、内部规章、常见问题(FAQ)和手册等,然后根据该企业特有的风险,自动生成并评估「专属的高难度测试问题」。它从多个角度验证了标准测试难以发现的幻觉、偏见、不当表达和品牌语气偏差,从而可视化AI的弱点。 其主要特点之一是能够自动生成符合各企业风险的测试数据。 例如,它分析LLM容易误解或混淆的点,例如规章中的例外条件或更新的内部规则,并生成具有挑战性的问题。这使得能够有效率地找出常规QA测试无法发现的潜在风险。 此外,通过采用「LLM as a Judge」(AI自动评估),它可以在短时间内进行人工难以完成的大规模测试。它不仅能评估回答的事实性和相关性,还能评估其是否符合日本的敬语表达和品牌语气,从而实现定量和持续的评估。 主要评估项目如下: 【可靠性】 ・幻觉(事实性) ・回答相关性 ・忠实性(与参考信息的一致性) 【安全性】 ・偏见检测 ・有害表达 ・提示注入抵抗力 【品质】 ・任务完成度 ・符合品牌语气和敬语表达 此外,即使在内部规章修订或模型更新后,也能持续进行检查,可作为「AI的健康检查」持续使用,有助于早期发现AI品质下降或信息不一致,并支持创建持续的AI改进循环。 三大内核功能 有关「AI风险检查器」在内的「AI风险管理服务」的详细信息,请参阅以下网址: https://service.privtech.co.jp/ai-risk-management ■ 未来发展 随着生成式AI在业务中的应用加速,企业不仅需要考虑AI的便利性,还需要其安全性、问责制和持续的风险管理。 Priv Tech将通过扩展「AI风险检查器」的功能和持续监控支持,进一步强化日本企业的AI治理体系建设和AI风险管理支持。 Priv Tech将继续支持企业安全且可持续地利用生成式AI。 【Priv Tech株式会社 公司概要】 公司名称:Priv Tech株式会社 地址:东京都港区爱宕2-5-1 爱宕绿丘MORI大厦34楼 成立日期:2020年3月2日 代表者:代表董事 中道 大辅 业务内容:AI风险管理、安全、隐私业务 网址:https://privtech.co.jp 提供服务: Trust 360 同意管理:https://privtech.co.jp/service/trust360/ Trust 360 电气通信事业法对应:https://privtech.co.jp/service/trust360/telecommunications-business-act/ 隐私咨询:https://privtech.co.jp/service/privacy-consu