MIRROR：从参考模仿到偏好内化的LLM个性化蒸馏

对个性化LLM的需求正在从风格模仿转向内容质量。我们研究自蒸馏是否可以弥补现有微调范式中的这一差距。为了解决这个限制，我们引入了 MIRROR（Metapersonization by Internalizing Reference-Revealed On-policy Reflections），这是一种新颖的自我蒸馏框架，它将 LLM 个性化从模仿转向偏好内化。首先，我们用参考揭示的策略自蒸馏代替参考Token模仿，将模型的下一个Token分布沿着其自己的生成轨迹与其参考条件自身的分布对齐，从而内化用户偏好而不是复制参考措辞。其次，我们引入 MIRROR-F，一个焦点插件，它通过对信息参考Token的选择性监督来增强策略分布对齐，从而在保留用户特定表达的同时加强内容生成。跨越三个个性化生成基准、两个模型规模以及互补的基于参考和基于LLM的 评估中，MIRROR 和 MIRROR-F 实现了领先的整体个性化性能和卓越的文本质量，同时在三个未见过的个性化生成任务上表现出比基于 SFT 的基线更少的灾难性遗忘。跨模型规模和应用场景的收益是一致的，转化为 LLM 个性化任务性能的提高。