如果 LLM 不相信输入数据，他们会犯更多错误吗？

大语言模型 (LLM) 容易产生幻觉或误解事实，这削弱了它们在检索增强生成或数据到文本系统中的可用性。我们分析 忠实性 或 LLM 如何提供上下文取决于他们感知上下文的合理程度（上下文记忆冲突）。为了更好地识别错误模式，我们利用非英语和资源匮乏的语言文本生成和基于本地知识的输入数据的难度增加，而这些本地知识仅在模型的参数知识中部分捕获。我们让模型根据包含本地捷克语和斯洛伐克语数据的事实 (FA)、反事实 (CFA) 和虚构 (FI) RDF 三元组生成英语、捷克语、斯洛伐克语和上索布语文本。与我们的预期相反，我们在人工注释的样本上仅观察到微弱的上下文记忆冲突。对于作为 LLM 法官的 Kimi K3 而言，与人类对样本的注释非常吻合，反事实输入仅获得比事实输入稍低的 忠实性 分数（1-5 等级中的 -0.05）。我们还发现，LLM 判断的次优选择会导致高估上下文记忆冲突的强度。