论文

按证据可靠性专门化训练,增强异构知识冲突下的RAG

Regime-Aware Peer Specialization for Robust RAG under Heterogeneous Knowledge Conflicts

上下文与知识检索增强

摘要

检索增强生成RAG以外部上下文提供证据,但当检索内容与模型参数知识冲突时可能失效。冲突涉及可靠、部分可靠和对抗性证据,统一监督容易混合不兼容信号。RAPS-DA在两个粒度上区分这些信号:样本层将冲突分为依从证据Grounding、仲裁Arbitration和抵抗Resistance,从同一基础模型分别训练同规模专门模型;每个样本路由到对应模型,以同策略反向KL监督。词元层的双层选择器根据教师间分歧、师生差异和学生熵筛除无信息或不稳定词元,提高高置信但错位词元的权重,并随学生成熟聚焦高冲突词元。收益来自固定模型规模下的专门化,而非更强教师;这些专门模型仅用于训练,部署学生无需场景标签或访问它们。在五类冲突场景和两个分布外基准上,方法优于所比较的提示、解码、微调、强化学习与单教师基线。