论文
CallScreenBench 上的 Open-Jev 判断:使用小语言模型校准一次性诈骗筛查
Open-Jev Judgments on CallScreenBench: Calibrated One-Pass Scam Screening with a Small Language Model
摘要
筛查电话是否存在欺诈行为需要在每次呼叫者轮流后提供可靠的概率(以毫秒为单位)。 Jev 风格的类型化决策准确地承诺了这一点:声明的选项进入,每个选项的一个校准概率来自一次前向传递,没有生成文本。我们在诈骗呼叫筛查中测试了该读数 JevLite 的开放实现:Qwen3-4B 经过 LoRA 调整,因此两个答案标签 logits 上的温度缩放 softmax 为 P(scam)。在 41 个保留的 CallScreenBench 场景(每回合 577 个决策)中,三种子集成达到 AUROC .974,校准误差为 0.052,不低于预先注册的 0.02 余量的 LLM 法官 (MiniMax-M3),合法呼叫没有误报,在相同挂起规则下决策提前 1.14 回合,在一个消费级 GPU 上每个决策需要 64.5 毫秒,比经过微调以生成答案的相同主干网低 4.9 倍。增益在于读出和校准,而不是准确性:经过微调的 ModernBERT 编码器并没有明显变差,配方是通过测试集曝光选择的,并且所有调用者都是合成的。我们声称没有建筑上的新颖性;贡献在于与 AUROC 一起的应用程序和评估报告校准、误报和决策计时。