株式会社NTT DATA 先端技术(总公司:东京都千代田区,代表取缔役社长:藤原 远,以下简称:NTT DATA 先端技术)与株式会社NTT DATA 财务科技(总公司:东京都港区,代表取缔役社长:细谷 好志,以下简称:NTT DATA 财务科技)合作,着眼于在金融机构系统开发中应用生成式AI,在本地端的封闭环境中实施了本地LLM(大型语言模型)应用的技术验证(PoC)。本次PoC的实施目的是为了强化金融机构的治理,并通过固定成本来提高可预测性。在以保护极为重要的机密信息为前提下,验证了生成式AI在确认设计文档一致性、提升品质以及加速修改作业等方面应用的有效性。 基于本次技术验证的结果,NTT DATA 先端技术将进一步探讨与推动重视安全性、治理、客制化能力、支持体制及成本可预测性的生成式AI应用。此外,为回应金融机构的需求,在确保机密信息保护与安全性的前提下推动生成式AI的应用,同时也将支持需要相同条件的其他产业导入生成式AI。 【背景】 近年来,生成式AI技术作为提升业务效率的手段备受瞩目。然而,特别是在金融机构中,除了按量计费导致的成本增加及预算管理困难之外,因处理信息的高度机密性而带来的数据保护问题,以及基于法律法规和业界规则确保治理的门槛过高,成为一大挑战。因此,市场对能够安全且有计划地应用生成式AI的基础设施需求日益增加。 在本次验证中,我们在本地端(On-premises)环境上建构了生成式AI基础设施,打造了一个绝对不向外部发送各种数据的本地LLM环境,并确认了在金融系统开发的业务中应用生成式AI的可行性。通过本次验证,我们确认了在将信息外泄风险降至最低的同时,能够开发出符合企业安全政策与内部控制、确保安全与治理的生成式AI系统。 图1:本地LLM环境架构示意图 【技术验证概要】 为了验证绝对不向外部发送包含机密信息在内的各种数据的本地LLM,是否能应用于金融系统的开发,我们定义了三个预期的使用案例:「一致性检查自动化」、「文档品质提升」及「修改作业加速」。 图2:主要使用案例 本次特别针对金融机构系统开发中的设计文档编写业务,进行了「使用案例1:一致性检查自动化」的验证。我们运用建构在本地端环境下的本地LLM,确认了其能够在不违反安全政策、内部控制机制以及业界标准等规则的情况下,自动进行检查与修正,从而减少设计文档编写过程中的审查环节。未来,我们也将持续针对另外两个使用案例进行验证。 此外,在本次验证中,我们建构了具备高客制化能力的生成式AI基础设施,能够根据业务内容与目的弹性选择LLM模型与架构,并实际使用了多个LLM模型进行使用案例运行的比较验证。在此基础上,我们确认了能够选择最适合的LLM模型或RAG(检索增强生成)等技术,以活用专为金融系统打造的知识库所带来的效果与实用性。 再者,考量到导入初期的阶段会缩减规模,以小规模启动(Small Start)的方式导入生成式AI基础设施,我们也对能够分阶段扩大使用范围的营运模型进行了评估。结果确认了,此模式能在控制生成式AI导入时投资风险的同时,一边确认对业务带来的成效,一边逐步过渡至全面导入阶段。 在成本方面,我们验证了通过采用本地LLM,可以实现不受生成式AI基础设施使用量大幅影响的稳定成本结构(成本固定化)。此外,我们采用了仿真客户环境、在本地端服务器上建构生成式AI基础设施的架构。这不仅有望带来减少云端使用费、抑制网络带宽成本等额外的成本缩减效果,还有望实现预算管理简化、中长期成本预测明确化等效益。 【未来展望】 基于本次技术验证的结果,NTT DATA 先端技术将进一步探讨与推动重视安全性、治理、客制化能力、支持体制及成本可预测性的生成式AI应用。此外,为回应金融机构的需求...