OCC-RAG：忠实回答问题的最佳认知核心

语言模型发展的最新进展是通过规模来定义的，每一代人都将世界上更多的知识吸收到其权重中。然而，许多实际应用更多地受益于稳健的推理，而不是广泛的参数知识。在这种情况下，任务专用小语言模型（SLM）提供了原则性的设计选择。我们引入了最佳认知核心 (OCC)，这是围绕这一前提构建的 SLM 系列。作为 OCC 的变体，我们提出了 OCC-RAG，它针对基于所提供上下文的忠实问答 (QA) 进行了优化。该任务与 OCC 设计方法直接一致，需要对所提供的段落进行多跳推理，同时忽略记忆的知识。为了训练 OCC-RAG，我们实现了一种新颖的管道，用于大规模合成多上下文、多跳 QA 数据，生成超过 300 万个针对多跳推理、严格上下文 忠实性 和校准弃权的示例的语料库。我们发布了 OCC-RAG-0.6B 和 OCC-RAG-1.7B，两者都在此语料库上进行了中期训练。这些模型产生结构化推理轨迹，其源引文基于上下文的字面引用。通过 OCC-RAG，我们证明紧凑型任务专用 SLM 在多跳推理（HotpotQA、MuSiQue、TAT-QA）、忠实性 (ConFiQA) 和拒绝 (MuSiQue-Un) 基准测试中可以匹配或超过通用模型 2 到 6 倍的大小。