语言模型适配的表示对齐辅助监督

语言模型表现出强大的推理能力，但使其适应结构化领域仍然具有挑战性，并且可能会产生不一致的结果。我们将表示兼容性（模型有效处理结构化任务的表示的程度）确定为适应的关键因素。我们在国际象棋中对此进行了研究，它提供了一个受控测试平台，具有精确的语义、可计算的最佳动作和多种状态表示，包括符号编码（FEN）和空间格式（ASCII）。我们发现模型通常以截然不同的方式处理语义等效的输入，从而影响学习和泛化。基于这一观察，我们提出了表示对齐的辅助监督，它使用以兼容表示表示的环境衍生任务来提高对结构化领域的适应。在模型和表示中，辅助监督在相同目标数据下相对于仅目标训练一致地改进了最优移动预测。暴露环境动态的任务比表面级别或静态监督提供更大且最一致的收益，同时通过大幅增加目标任务数据量来保持竞争力。此外，经过 ASCII 训练的模型向 FEN 的迁移比经 FEN 训练的模型向 ASCII 的迁移更有效，甚至超过了 FEN 评估的仅 FEN 目标基线。收益还超出了最佳走法预测，扩展到开放式的、基于事实的评论生成。总的来说，我们的结果表明，模型兼容表示中的辅助监督可以实现结构化领域的有效适应。