论文
后见引导的理性蒸馏用于罕见病诊断
Hindsight-Guided Rationale Distillation for Rare Disease Diagnosis
摘要
我们研究后见引导的罕见病诊断蒸馏（ZebraMap）：1.5B学生在8B教师的思维链轨迹上微调——教师在生成时观察真值诊断。所有模型的绝对准确率都低（该规模下任务很难），但在此上限内，过滤变体（StudentF）取得对教师的小幅且统计显著的准确率优势（p<0.001），集中于代表性更好的疾病；未过滤学生未显著超过教师（p=0.129），确立是污染过滤而非后见蒸馏本身驱动增益。差距源于我们称为GT幻觉的伪影：标签可见生成使教师在推理链中嵌入"真值是X"短语；SFT复制该模式。推理时未过滤学生33.9%的情形复现该短语，当幻觉标签错误时严重退化。移除这些槽的正则过滤器把污染降到近零，产生观察到的增益——尽管效应仍小。我们精确量化这一增益-成本权衡，记录RL训练教师所没有的频率依赖知识转移，并刻画SFT未闭合的校准差距——把两者识别为未来方向。