上下文融合改善了推理问题的回答

虽然 大语言模型 (LLM) 广泛用于开放域问答 (QA)，但它们处理推理问题（必须导出答案而不是直接检索答案）的能力仍未得到充分开发。本研究调查了段落的结构和质量如何影响 LLM 在此类问题上的表现。我们关注收敛性，衡量句子（提示）如何有效地消除错误答案，作为构建段落的标准。使用 TriviaHG 数据集的子集，我们通过组合具有不同收敛水平的句子来形成段落，并评估六个不同大小和架构的 LLM。我们的结果表明，由较高收敛性句子构建的段落比通过余弦相似度选择的段落具有更高的答案准确性，这表明收敛捕获了推理推理的有意义的相关性。此外，通过降序收敛性对句子进行排序会稍微提高性能，这表明 LLM 倾向于优先考虑较早的、信息丰富的线索。这些发现强调收敛作为指导通道构建和分析 LLM 中的推理行为的实用信号。