论文

Guideline-as-Oracle:眼科电话分诊代理的零注释训练

Guideline-as-Oracle: Zero-Annotation Training of an Ophthalmic Telephone Triage Agent

模型训练合成数据

摘要

对多轮医疗人员进行扩展监督很困难,因为专家对话注释成本高昂,而且临床对话的隐私受到限制。我们引入了Guideline-as-Oracle (GAO),它将美国眼科学会指南编译成70行的操作规则表,并将其用作3,000个训练对话的实例级监督的唯一来源,保留人工标签进行评估。由于将规则转换为对话本身就是一个设计问题,因此我们对八种构建策略进行了分类,包括引用行层分配、单事实边界对、仅元数据修复和标签修复,并描述了每种策略的证据状态:标签机制、无效、混淆或仅作为一个包进行评估。 微调 该语料库的 9B 主干产生 GAO-Triage,将与 201 个案例操作参考的一致性从 61.7% 提高到 74.1%(精确的 McNemar p=0.0046),并将紧急案例召回率从 9.5% 提高到 69.0%;在第二个种子和病人模拟器中,这种收益仍然存在。我们测试的七个通用系统中没有一个在这两个指标上都优于 GAO-Triage,并且 GAO-Triage 在推理时不需要前沿模型。排列标签对话分配将模型折叠为恒定例程预测器,表明信号位于指南派生的分配中,而不是对话表面形式。标签修复与后期训练安全降级的消失同时发生。