论文

KARMA:基于知识图谱的自动推理物化和对齐

KARMA: Knowledge graph-based Automated Reasoning Materialization and Alignment

模型训练偏好优化

摘要

基于模板的对比合成是可扩展的,但其候选者通常仅在少数实体槽中有所不同,而序列级优化将监督分散到大多数共享模板上。我们将其形式化为分辨率不匹配问题,并提出 KARMA,它枚举领域知识图上的模式约束路径,并将它们表述为槽对齐的对比候选者。然后,时隙并行对齐(SPA)应用解耦的时隙级目标,将偏好监督路由到有区别的实体时隙,并使用时隙感知的屏蔽注意力作为可选的打包评估实现。在生物医学、计算机科学和化学基准方面,KARMA 优于基本 LLM 和相同数据 SFT 基线,并且与序列和 词元级 偏好方法相比具有优势。