SAGA：低资源北欧语言模型的分数加权自适应生成对齐

偏好优化已被证明对于改进 大语言模型 是有效的，但通常依赖于昂贵的人类偏好注释。将这些方法扩展到形态丰富、资源匮乏的语言仍然具有挑战性，因为此类注释很少。我们提出了 SAGA（分数加权自适应生成对齐），这是一个解析器引导的偏好优化框架，它用依赖解析器监督取代了人类标签。 SAGA 将解析器判断转换为 delta-DPO 的偏好对，将解析器质量与复合奖励中的词汇多样性相结合，使用奖励差距标准过滤低信息对，并监视 奖励作弊 以保持可靠的监督。在使用 GPT-SW3-1.3B 的丹麦语、冰岛语和挪威语博克马尔语中，SAGA 不断提高语法质量，而无需人类偏好标签。丹麦语解析成功率从 69.0% 增加到 93.8%，冰岛语在独立 Stanza 评估中提高了 +4.5 个百分点（三轮平均值 +3.3 个百分点），而母语人士在 80% 的成对比较中更喜欢 SAGA 输出，挪威语博克马尔语提高了 +28 个百分点。这些结果表明，解析器派生的监督是人类偏好注释的实用替代方案，用于在具有高质量依存解析器的低资源语言中进行语法对齐。