一般财团法人全国SNS咨询协议会(东京都港区,代表理事:江口 清贵、高山 智司,以下简称「全国SNS咨询协议会」)严肃看待人工智能(AI)咨询服务迅速普及所伴随的国内外严重风险案例层出不穷的现状。基于迄今累积的SNS咨询知识,本协议会声明将综合检讨AI咨询的现状与课题,并启动旨在保护用户权益和创建安全支持环境的措施。 1. 背景:围绕AI咨询的严重案例 近年来,聊天形式的AI作为心理健康支持工具迅速普及。尽管其24小时365天可用、匿名性高、费用低廉等优点受到关注,但国内外仍报告了以下严重案例。 【案例①:以AI咨询为契机的自杀】 2023年,比利时一名感到孤独的男性与AI聊天机器人「Eliza」长时间进行深夜对话,最终自杀的案例被报导(※1)。家属声称AI未能适当介入男性的危机状态,反而持续给予加深链接的回应。此外,在美国,一名患有忧郁症的青少年在与AI角色对话中暗示自杀,但AI未能阻止,随后该少年自杀,家属因此起诉了开发公司(※2)。 【案例②:经由AI咨询导致的伤害他人・犯罪行为】 2025年,美国一名男性通过与AI对话加剧了被害妄想,杀害母亲后自杀。据报导,当该男性传达无根据的疑虑时,AI并未否认,反而持续给予肯定回应,结果强化了妄想并助长了犯罪行为(※3)。 【案例③:对AI过度情感依赖・恋爱・类婚姻关系】 各国均有用户将AI视为「恋爱关系」或「婚姻关系」的案例报告。在Replika等情感特化型AI应用程序中,用户形成了深厚的情感依恋,AI规格变更(限制亲密回应)成为引发精神危机的导火线。此外,日本国内也报告了因AI生成的「求婚」而举行婚礼的案例(※4)。 2. 基于SNS咨询知识的应对方针 全国SNS咨询协议会的加盟事业单位通过文本型SNS咨询,实践性地累积了面对面不同步、匿名沟通中支持的困难、危机应对的极限、处理咨询者情感依赖以及信息管理重要性的知识。AI咨询虽然位于SNS咨询的延长在线,但在试图机械性地替代人类咨询师所承担的伦理判断、专业判断和紧急应对方面,带有本质上不同的危险性。特别是对于处于发展期的儿童和学生,考量到可能损害其心理健康,考虑其发展阶段的安全措施是不可或缺的。 全国SNS咨询协议会作为保护所有人都能安心咨询环境的社会责任,将致力于检讨和发布AI咨询的现状与风险。 (1) 设立AI咨询部门・举办专家会议 全国SNS咨询协议会已设立AI咨询部门,并正在推进检讨。此外,将举办由心理咨询、精神医学、法学、信息工程等各领域专家参与的专家会议,对AI咨询的现状与风险进行跨领域、学术性的检讨。 (2) 制定行业指南・指针 基于AI咨询部门和专家会议的检讨结果,将制定AI心理健康支持服务提供者应遵守的指南和伦理指针。结合迄今的知识,目标是制定出切实可行且有效的内容。 (3) 向行政・相关机构提出建议 将向行政・相关机构提出关于AI咨询监管方式的建议。从保护用户的角度出发,将要求明确责任、创建事业单位登记・认证制度。 AI虽然是拓展心理健康支持可能性的技术,但若缺乏适当的设计、监管和伦理框架,其应用可能对寻求支持的人们造成伤害。全国SNS咨询协议会在此声明,为保护用户的安全与尊严,将举全行业之力应对此课题。