论文

BC Protocol:双专家对话提取高质量思维链训练数据

BC Protocol: Structured Dual-Expert Dialogue for Eliciting High-Quality Chain-of-Thought Post-Training Data

模型训练合成数据

摘要

高质量专家思维链是大语言模型后训练的重要瓶颈。众包标注缺少深入推理,专家独立写作常跳过自认为显然的步骤,RLHF主要提供偏好而非推理链。BC Protocol以结构化双专家对话提取后训练数据,配对领域专家与知识工程师,将隐含判断系统化表达为自然语言推理链。研究提出参与者能力模型,包含影响提取质量的六个特征维度,并提出“校准的无知”概念及“选择优先于流程规定”原则:在隐性知识提取中,投入人员选择可能比同等投入流程设计更有效。叙事小说受控实验比较双人对话生成的20项思维链与同一专家独立写作的20项思维链,由GPT-4o、Claude Opus 4.5和Gemini 2.5 Pro按五个维度盲评,共600次评分。推理过程自然性平均分为4.80与1.30,p=2.4×10⁻⁸,Cliff’s δ=1.0。