用于立场感知参数检索的嵌入模型

在计算论证中，获得明确支持或攻击给定主张的论据是下游推理任务的关键前提。当使用语义搜索方法检索这些支持和攻击论点时，需要评估它们与感兴趣的主张的主题相关性以及他们对主张的（积极或消极）立场的正确性。在本文中，我们探讨了如何为现代检索管道提供支持的密集嵌入模型（以下简称模型）可以作为结合这种双重评估的语义搜索的基础。我们通过实验表明，现有模型与不对称推理作斗争，表现出对主题重叠的强烈偏见，而忽略了教学立场。我们还表明，通过对比训练纠正这种偏见会触发一种新的失败模式，其中模型过度纠正，过度关注极性关键字（例如“支持”或“反驳”），而牺牲了语义主题。因此，我们引入了诊断性词语消融指标来量化这种现象，并提出了一种以数据为中心的解决方案。通过实施平衡的论证课程以及 LLM 增强的、立场倒转的论证，我们迫使（嵌入）模型学习更深层次的方向逻辑，而不是利用肤浅的词汇捷径。我们的评估表明，对于足够强大的模型，这种方法可以减轻观察到的过度校正，从而进一步改进立场感知论证检索。