发表重点： NTT已确立全球首创的理论和算法，能够在大型语言模型（LLM）推理过程中，在不降低准确性的情况下，自由缩减作为输入/输出单位的「令牌」词汇集。 这项技术使得任意异构LLM之间能够通过共同的词汇集进行协作。 将这项技术应用于集成（ensemble）和NTT独有的可携式调优（portable tuning）等协作技术，将能够在更多样化的异构LLM之间实现知识的集成和转移。 NTT株式会社（总部：东京都千代田区，代表取缔役社长：岛田 明，以下简称「NTT」）已确立全球首创的推理技术，该技术能够在不降低准确性的情况下缩减大型语言模型（LLM）中作为输入/输出单位的「令牌」词汇，并在不同LLM之间实现令牌词汇的通用化。此前，要实现以集成*1为代表的多个LLM推理时协作，需要各LLM的令牌词汇一致。这项技术解决了这一限制，使得任意异构LLM之间能够进行此前难以实现的集成和NTT独有的可携式调优*2等多种推理时协作，并通过知识集成和转移实现高精度化。这项成果将于2026年4月23日至27日在巴西里约热内卢举行的深度学习领域最顶尖国际会议International Conference on Learning Representations (ICLR) 2026*3上发表。 1. 背景 近年来，大型语言模型（LLM）作为能够以自然语言进行推理的AI，其应用正在迅速普及。LLM以称为「令牌」的部分单词单位高效地进行推理，而不是逐字输出文本。更具体地说，它通过重复计算「下一个令牌预测」，即以概率值预测下一个应输出的令牌候选，并根据此预测结果输出令牌来推进推理。这些令牌候选的集合称为「令牌词汇」，由数万到数十万个令牌组成，但特别是在由不同组织或在不同时期开发的LLM之间，这些令牌词汇通常不一致。然而，当LLM之间的令牌词汇不同时，它们无法在推理过程中相互比较和参考下一个令牌预测结果。这种「词汇障碍」使得在异构LLM之间难以利用各种令牌级别的协作技术，例如通过集成多个LLM的预测结果来提高推理准确性的集成，或将专业知识转移到另一个模型的可携式调优。 2. 研究成果概述 本研究确立了全球首创的技术，能够在不降低准确性的情况下，自由缩减LLM用于推理的令牌词汇（图1）。具体而言，LLM推理过程中计算的所有令牌的下一个令牌预测结果，将在每个步骤中转换为仅以指定部分令牌（部分词汇）为候选的预测结果。通过基于独特理论设计转换算法，确保在此转换过程中最终输出文本的整体趋势不变，从而实现了在不降低原始LLM推理准确性的情况下，使用任意部分词汇进行推理。应用这项技术，可以在具有不同词汇的LLM之间，在它们的「最大共同词汇」上进行推理时协作（图2）。换句话说，此前因令牌词汇不匹配而受阻的推理时协作，例如通过集成进行知识集成和通过可携式调优进行知识转移，现在可以通过共同令牌在异构LLM之间实现。实验还针对具有不同令牌词汇的LLM进行了集成验证，确认了在保持各LLM性能的同时，通过共同令牌进行协作是可行的，并且这种协作可以提高推理准确性。 图1：确立了在保持LLM输出趋势的同时，能够自由缩减令牌词汇的转换技术。 图2：即使是具有不同词汇的LLM，也能通过共同词汇进行集成。 3. 技术要点 ① 「无损」自由缩减词汇的新理论 我们确立了全球首创的理论，能够在保持LLM输出质量的同时，以更少的令牌候选（部分词汇）进行下一个令牌预测。如果仅仅是减少令牌候选，可以通过从下一个令牌预测中删除不需要的令牌候选信息来实现，但这会导致大幅度的性能下降，因为原本应该输出的字符串将无法生成。本研究构建了一个理论框架，能够统一处理与原始词汇相关的令牌概率和与部分词汇相关的令牌概率，并基于独特理论设计了转换算法，以确保最终输出字符串的分布保持不变。