论文
驾驭不可靠的参数与上下文知识:LLM推理的显式知识冲突消解
Navigating Unreliable Parametric and Contextual Knowledge: Explicit Knowledge Conflict Resolution for LLM Inference
摘要
大语言模型(LLM)通过利用广泛的参数知识与上下文学习能力——在广泛语言任务上取得强性能——使其能纳入输入提示提供的外部信息。但外部知识的整合可能引入冲突:不仅模型内部参数知识与外部信息之间——还有多条外部上下文之间。既有方法通常假设模型或提供的上下文之一可靠——忽视两个来源都可能出错的情形——并经把一个来源置于另一个之上来回避冲突——而非主动消解不一致。为解决这些局限——我们提出LLM知识冲突消解的新框架MACR——超越常规二元选择范式——纳入基于多智能体推理方法的显式冲突消解机制。具体地——我们首先提出自适应知识评估与检索方法——采用改进的语义熵度量量化LLM对给定查询答案的置信。基于该置信估计——MACR或把模型内部知识外化为文本表示——或在内部知识不足时检索相关外部知识——为后续推理生成基础上下文。然后我们引入归纳式多智能体推理框架——含三个专门智能体——分别归纳显式规则、分析潜在冲突、并消解全部可用上下文间的不一致。实证结果表明MACR跨基准显著超越SOTA基线——同时提供显式冲突的可解释消解。
