torchtune：PyTorch 原生 后训练 库

现代 LLM 通常需要多级训练管道来实现强大的下游性能，其中 后训练 作为适应开放权重模型的主要接口。我们推出了 torchtune，这是一个 PyTorch 原生库，旨在简化 LLM 的 后训练 生命周期，从而实现高效的 微调、实验和面向部署的工作流程。与许多现有的 微调 框架不同，这些框架通常以牺牲透明度和可扩展性为代价来优化易用性、专门配方或硬件效率，torchtune 强调模块化、可破解性和对底层 PyTorch 组件的直接访问。在本文中，我们介绍了 torchtune 背后的设计原则，描述了它们如何反映在其模型构建器、训练配方和分布式训练堆栈中，并跨代表性的 后训练 设置评估该库。我们与流行的 微调 框架（包括 Axolotl 和 Unsloth）进行了比较，结果表明 torchtune 在许多设置中提供了强大的性能和内存效率，同时保持足够的灵活性以进行快速研究迭代。这些结果使 torchtune 成为可重复的 LLM 后训练 研究的实用基础。