论文
关于 PEFT 的扩展：迈向数万亿个参数的百万个个人模型
On the Scaling of PEFT: Towards Million Personal Models of Trillion Parameters
摘要
参数高效的 微调 (PEFT) 通常被视为完整 微调 的更便宜的替代品。我们研究了更广泛的角色：小型可训练适配器作为强大的共享基础模型之上的持久本地状态。在此框架中，基本模型提供共享能力，而适配器则承载特定于实例的行为，例如偏好、技能、工具习惯和类似记忆的更新。我们围绕三个缩放轴来组织问题： 向上扩展，更强的共享先验使小型本地更新更有用；缩小规模，我们研究适配器在保持可靠性的同时可以有多小；以及横向扩展，其中许多持久适应实例共存。 MinT 提供了一个基础架构示例，用于管理适配器身份、修订、出处、评估和服务驻留。总之，结果表明 PEFT 可以成为持久个人模型的紧凑基底，而不仅仅是完整 微调 的预算替代品。