孪生世界：基于等方差的基于证据的推理的弃权

知识密集型推理需要 大语言模型 (LLM) 在提供的证据中提供答案。当证据不足时，模型最好放弃，而不是自信地生成不受支持的答案。现有的弃权方法依赖于不确定性估计或证据充分性检查，但都没有测试由提供的证据和模型的内部记忆参数的相互作用驱动的生成推理过程是否真正以证据为基础。一个关键的影响因素是上下文中提到的实体会激活记忆的关联，从而导致模型生成没有证据基础的看似合理的响应。我们提出了孪生世界（TW），一个通过基于等方差的弃权来提高知识密集型推理可靠性的框架：与要求输出保持不变的不变性不同，等方差要求输出在实体替换下相应地变换。基于证据的模型应该产生在实体被替换而其关系得以保留时一致变化的答案。 TW 通过原始输入的类型化替换构建多个世界，保留关系结构，同时减少参数先验，并使用等方差违规作为弃权信号。通过四个基准和三个模型主干，TW 可以识别答案何时不能可靠地基于所提供的证据，并优于基于不确定性和充分性的基线。