用于生成特定领域文档的 RAG-SFT 中的参数知识

检索增强生成 (RAG) 微调 与普通 RAG 相比已显示出显着改进，但大多数研究的目标是文档问答，这些收益是否转移到专门任务尚不确定。我们研究用于电子工程领域需求文档生成的监督 RAG 微调 (RAG-SFT)，在两种不同的训练数据策略下调整两个 7B 模型。由于 Rouge 和 BertScore 很难捕捉长技术文本的事实性，因此我们引入了 C-FEX，这是一种基于声明的评估管道，它将每个响应声明归因于其来源（增强的提示或参考响应），并提出了参数知识精度 (PKP)，它将源自模型权重的声明隔离开来并衡量其正确性。我们表明，评估参数知识的先验指标可分解为 PKP $\times$ PR，将参数输出 (PR) 的比率与其质量 (PKP) 分开。根据经验，经过微调的 7B 模型可匹配或超过 72B 基线；标准指标与基于声明的事实不一致，并且可能误导 微调 收益；而且，微调 不会强化正确的参数知识，但会抑制幻觉——模型很少通过权重说话，但更加可靠。