DiARC：区分正负样本有助于提升大语言模型类ARC推理能力

抽象和推理语料库 (ARC) 包含需要从有限的网格样本中总结模式并预测输出网格的任务。最近，许多基于 大语言模型 的方法试图将其转化为基于文本的推理任务。然而，基于开源模型的方法普遍效果不理想，而依赖闭源模型的方法成本又太高。目前的工作主要集中在数据增强，构建类似 ARC 的数据以实现更全面的监督 微调。在这项工作中，我们认为解决类似 ARC 的问题不仅需要正样本监督，还需要通过区分负样本来改进模型推理的能力。为此，我们借鉴偏好对齐的思想，提出了 DiARC，一种构建偏好对以使模型能够区分它们的方法。具体来说，我们提出了三种构建负样本的方法，包括输出级视觉变换、DSL级规则反转和特定于任务的规则编辑。由此产生的负样本提供了信息丰富的近似替代方案，同时保持观察到的演示不变。多个类似 ARC 基准测试的实验结果表明，DiARC 持续提高了基准模型的性能。该代码发布于 https://github.com/szu-tera/DiARC。