有效的大语言模型微调是否需要人类可读的文本？

人类可读性对于大语言模型的有效微调是否必要？我们研究模型条件训练表示是否可以在不需要人类可读文本形式的情况下保留或提高适应效用。我们提出了期望更新对齐合成数据（DASA），它使用来自冻结参考模型的激活梯度反馈来指导连续合成输入嵌入的优化。受到激活梯度在降低局部风险中的作用的启发，DASA 的目标是有用的适应更新，而不是源文本重建或语言流畅性。得到的嵌入直接用于下游微调；离散标记投影仅用于定性检查。对 Llama 和 Qwen 系列的六个模型进行的实验，参数范围从 1B 到 32B，涵盖了知识、数学推理、代码生成和常识推理的六个基准。在匹配的 LoRA 适应设置下，DASA 实现了与源自然语言数据相当的性能，并在多种配置中超越了它，同时在大多数比较中优于 GRADMM。进一步的实验涵盖通用领域和特定任务的源数据。在评估的综合设置下，DASA 比具有相当峰值 GPU 内存的 GRADMM 提供了 3.6$--4.9\times$ 加速。