论文
DiagLoop:具有阶段局部强化的反事实数据飞轮,用于诊断 LLM
DiagLoop: A Counterfactual Data Flywheel with Stage-Localized Reinforcement for Diagnostic LLMs
摘要
因果诊断模型必须解释如何从证据中得出结论,因为诊断指导修复和治疗。然而,严重的案例很少,记录很少包含推理路径,并且跨配置的数据传输很差,使本地部署变得复杂。我们推出了 DiagLoop,一种反事实数据飞轮,可将每个机制系列编写一次的编纂物理关系或临床指南转换为记录案例之外的训练监督。仅接受训练的教师通过不同的原因、背景和观察提出反事实世界,而独立的混合检查员只承认有效的世界。学生通过症状抽象、因果链构建和根本原因归因进行推理。特定阶段的标准确定其最早的失败。对于非终端故障,有界修复会探测下游能力,所得的弱点概况可指导后续数据生成。阶段局部强化学习仅更新模型生成的延续,而重放和保存则减少遗忘。相同的标准通过与提议者分开的检查来管理准入、归属、奖励和再生。仅使用合成场景而不使用案例级专家推理注释,生成的 8B 模型在最强的传统基线上提高了严格的路径正确性。八个工业系统的收益为 11.6 个百分点,十个疾病类别的收益为 5.5 个百分点。相对于混乱路由控制的增益分别为 3.9 点和 2.3 点。该模型还超过了两个领域中评估的专有参考,即使它们收到了少量示例或上下文中的规范。