株式会社NTT DATA 先端技术（总公司：东京都千代田区，代表取缔役社长：藤原 远，以下简称：NTT DATA 先端技术）与株式会社NTT DATA 财务科技（总公司：东京都港区，代表取缔役社长：细谷 好志，以下简称：NTT DATA 财务科技）合作，着眼于在金融机构系统开发中应用生成式AI，在本地端的封闭环境中实施了本地LLM（大型语言模型）应用的技术验证（PoC）。本次PoC的实施目的是为了强化金融机构的治理，并通过固定成本来提高可预测性。在以保护极为重要的机密信息为前提下，验证了生成式AI在确认设计文档一致性、提升品质以及加速修改作业等方面应用的有效性。 基于本次技术验证的结果，NTT DATA 先端技术将进一步探讨与推动重视安全性、治理、客制化能力、支持体制及成本可预测性的生成式AI应用。此外，为回应金融机构的需求，在确保机密信息保护与安全性的前提下推动生成式AI的应用，同时也将支持需要相同条件的其他产业导入生成式AI。 【背景】 近年来，生成式AI技术作为提升业务效率的手段备受瞩目。然而，特别是在金融机构中，除了按量计费导致的成本增加及预算管理困难之外，因处理信息的高度机密性而带来的数据保护问题，以及基于法律法规和业界规则确保治理的门槛过高，成为一大挑战。因此，市场对能够安全且有计划地应用生成式AI的基础设施需求日益增加。 在本次验证中，我们在本地端（On-premises）环境上建构了生成式AI基础设施，打造了一个绝对不向外部发送各种数据的本地LLM环境，并确认了在金融系统开发的业务中应用生成式AI的可行性。通过本次验证，我们确认了在将信息外泄风险降至最低的同时，能够开发出符合企业安全政策与内部控制、确保安全与治理的生成式AI系统。 图1：本地LLM环境架构示意图 【技术验证概要】 为了验证绝对不向外部发送包含机密信息在内的各种数据的本地LLM，是否能应用于金融系统的开发，我们定义了三个预期的使用案例：「一致性检查自动化」、「文档品质提升」及「修改作业加速」。 图2：主要使用案例 本次特别针对金融机构系统开发中的设计文档编写业务，进行了「使用案例1：一致性检查自动化」的验证。我们运用建构在本地端环境下的本地LLM，确认了其能够在不违反安全政策、内部控制机制以及业界标准等规则的情况下，自动进行检查与修正，从而减少设计文档编写过程中的审查环节。未来，我们也将持续针对另外两个使用案例进行验证。 此外，在本次验证中，我们建构了具备高客制化能力的生成式AI基础设施，能够根据业务内容与目的弹性选择LLM模型与架构，并实际使用了多个LLM模型进行使用案例运行的比较验证。在此基础上，我们确认了能够选择最适合的LLM模型或RAG（检索增强生成）等技术，以活用专为金融系统打造的知识库所带来的效果与实用性。 再者，考量到导入初期的阶段会缩减规模，以小规模启动（Small Start）的方式导入生成式AI基础设施，我们也对能够分阶段扩大使用范围的营运模型进行了评估。结果确认了，此模式能在控制生成式AI导入时投资风险的同时，一边确认对业务带来的成效，一边逐步过渡至全面导入阶段。 在成本方面，我们验证了通过采用本地LLM，可以实现不受生成式AI基础设施使用量大幅影响的稳定成本结构（成本固定化）。此外，我们采用了仿真客户环境、在本地端服务器上建构生成式AI基础设施的架构。这不仅有望带来减少云端使用费、抑制网络带宽成本等额外的成本缩减效果，还有望实现预算管理简化、中长期成本预测明确化等效益。 【未来展望】 基于本次技术验证的结果，NTT DATA 先端技术将进一步探讨与推动重视安全性、治理、客制化能力、支持体制及成本可预测性的生成式AI应用。此外，为回应金融机构的需求...