Ling and Ring 2.6技术报告：万亿参数规模的高效即时代理智能

高效且可扩展的代理智能需要模型能够提供低延迟响应和强大的推理能力，同时保持训练、服务和部署的实用性。在本报告中，我们介绍了 Ling-2.6 和 Ring-2.6，这是一系列旨在大规模应对这一挑战的模型。 Ling-2.6 针对即时响应生成和每个输出词元的高性能进行了优化，而 Ring-2.6 则针对更深入的推理和更高级的代理工作流程进行了定制。我们没有从头开始训练，而是通过架构迁移预训练和大规模后训练来升级Ling-2.0基础模型。此次升级以模型架构、优化目标、服务系统、智能体训练环境的统一协同设计为指导，实现模型能力和部署效率的提升。在架构层面，我们引入了混合线性注意力设计，将Lightning Attention与MLA相结合，提高了长上下文训练和解码的效率。为了进一步提高词元效率，我们通过进化思想链、语言单元策略优化、双向偏好对齐和最短正确响应 蒸馏 优化每个输出词元的能力。对于代理能力，我们提出了 KPop，这是一种强化学习框架，旨在支持 Ring-2.6-1T 在大规模环境数据上的稳定训练。 KPop 通过跨编码、搜索、工具使用和工作流程执行的异步调度来提高训练效率，从而实现从复杂的代理环境交互中进行可扩展的学习。 Ling-2.6 和 Ring-2.6 共同提供了一条通往高效、可扩展和开放代理系统的实用途径。我们开源 2.6 系列中的所有检查点，以支持实用代理智能的进一步研究和开发。