HPC系统公司（总部：东京都港区，代表董事：小野 鉄平，以下简称HPC系统公司）已推出一项新服务「AI基础设施评估」，旨在支持企业和研究机构导入生成式AI和大型语言模型（LLM）。 这项服务根据模型大小、同时使用人数、上下文长度、响应性能等条件，整理从概念验证（PoC）环境到实际生产导入的配置设计和验证观点，并以报告形式呈现。 根据客户需求，服务将整理包括GPU内存容量、推论方式、并行配置、保存和网络在内的配置。 近年来，尽管企业和研究机构对生成式AI和LLM的应用讨论日益增多，但考量模型大小、同时使用人数、上下文长度、响应性能、本地部署要求和未来扩展性等因素，硬件配置的判断变得日益复杂。特别是，在PoC阶段可行的配置，可能不适用于实际运营时的性能要求和使用规模，因此在导入初期，需求整理和配置设计的重要性日益提高。 迄今为止，本公司主要通过提供以计算科学领域为中心的HPC服务器，以及配备GPU的服务器和工作站产品，支持高性能计算基础设施的提案和建置。本次推出的新服务，将基于这些知识，根据客户的使用预期和运营条件，以报告形式呈现从PoC到实际生产导入的配置方案和验证观点，从而支持生成式AI和LLM导入的决策。 这项服务将根据模型大小、同时使用人数、上下文长度等使用条件，考量包括GPU内存容量、推论方式和并行配置在内的配置。此外，除了GPU服务器配置外，还将包括保存、网络和推论软件堆栈，进行全面的配置整理，以应对实际运营。 此外，这项服务将导入评估分为三个阶段：「评估导入」、「生产选择」和「导入后优化」。这使得可以将适用于初始验证的配置与实际运营所需的性能、扩展性和运营要求分开整理。在明确每个阶段所需的验证观点和挑战后，最终将呈现一份配置提案报告。 服务概述 根据客户访谈内容，本服务将提供包括以下内容的报告： 推荐的3种配置方案及前提条件列表 预期性能范围（包括响应性能和同时使用预期） PoC验证项目 过渡到实际生产时的额外挑战 概算报价 此外，考量内容将分为以下三个阶段进行整理： 评估导入：针对多模型试验和初始验证的配置整理 生产选择：根据同时使用人数、响应性能和运营条件整理生产配置 导入后优化：着眼于扩展性、运营负载和额外调整的挑战整理 这使得客户不仅限于比较GPU规格和产品特性，还能根据自己的使用情境，推进PoC环境的适用性验证、实际生产导入时的挑战整理，以及未来扩展方针的考量。 服务对象 本服务主要针对以下类型的企业和研究机构： 考虑利用生成式AI，包括内部文档搜索和RAG的企业 考虑在本地部署或封闭环境中运营LLM的企业 已建置PoC环境，并希望整理过渡到生产配置方针的企业 在选择配备GPU的服务器和工作站时，希望根据需求进行比较和评估的企业 希望利用在计算科学和研发用途中积累的高性能计算基础设施知识，推进生成式AI基础设施建设的企业和研究机构。