论文
SBERT2S1:从检索编码器到类型化决策模型
From Retrieval to Typed Decisions: Calibrated System One Models from Biomedical Sentence Encoders
摘要
类型化决策模型单次前向回答关于文本的模式约束问题,返回供阈值化的概率。我们追问:为检索训练的生物医学句子编码器是否是这类模型的好起点。我们提出SBERT2S1,把Sentence-Transformers编码器转换为双编码器、交叉头(C)与先验融合残差(PFR)决策模型,并配套生物医学类型化决策套件BIODECIDE及由NLM标引导出的24.3万训练决策MEDLINE-S1。在六个父检索器对上,检索训练改善含内容选项的零样本匹配。微调后其效果依头而异:五对与三种训练集规模下,检索训练在15次比较中的10次显著帮助保留检索先验的PFR,但帮助C仅1次、损害5次。两头五目标的匹配网格显示C在所有目标下优于PFR,且开源System One模型发布的RLCD配方落后交叉熵2.5-3.0分。该缺口主要源于其奖励归一化把噪声得分函数项放大3.6-15倍;无偏留一估计器可恢复大部分差距。温度缩放后没有任何目标明显比交叉熵更校准。我们发布代码、MEDLINE-S1标注与模型。