论文
从参数到数据：用于高效 LLM 对齐的任务参数引导 微调 管道
From Parameters to Data: A Task-Parameter-Guided Fine-Tuning Pipeline for Efficient LLM Alignment
摘要
将 大语言模型 (LLM) 适应专门领域通常会产生高数据和计算开销。虽然之前的效率工作在很大程度上将数据选择和参数高效 微调 视为孤立的过程，但我们的实证分析表明它们可能本质上是耦合的。我们提出强地图假设：注意力头的稀疏子集在特定任务的适应中起着主导作用，充当解锁特定数据模式的钥匙。基于这一观察，我们提出了从参数到数据（P2D），这是一个统一的框架，利用这些任务敏感的注意力头作为样本挖掘和结构修剪的双重指南针。为了严格量化总管道成本，我们针对选择延迟和训练时间引入了对齐效率比 (AER) 指标。从机制上讲，P2D 通过轻量级代理识别关键头，并将它们用作功能过滤器来管理高亲和力数据，建立协同管道。根据经验，通过仅更新 10% 数据上的 10% 注意力头，P2D 就可以在强基线上实现 8.3 pp 的性能增益，并实现 7.0 倍的端到端时间加速。这些结果验证了精确的参数数据同步消除了冗余，为高效对齐提供了新的范例。