大模型如何权衡内部知识、用户陈述与文档陈述

真实RAG与对话系统中，大模型需要平衡参数内知识、用户观点及检索文档等外部信息，可靠处理这些来源关系到系统安全。此前知识冲突与迎合研究通常只比较内部知识与文档或用户之间的两方冲突，忽略三者同时存在的交互环境。我们提出三来源交互框架，在两个数据集上系统评估三个模型系列的27个大模型。多数模型对文档陈述的依赖强于用户陈述，且后训练强化了这一偏好。行为分析显示，多数模型容易受外部信息影响，不能有效区分其是否有帮助。我们展示，在多样的来源交互数据上微调可以显著改善模型辨别能力，为可靠整合多来源信息提供研究路径。代码：https://github.com/shuowl/llm-source-balancing。