论文

类型化决策评测加入正确选项缺失与误拒绝检查

Benchmarking Candidate Coverage in Typed Decision Models

模型评测模型推理判别式推理与决策模型能力评测Jev

摘要

作者在AG News、DBpedia、Emotion及TREC上构造正确答案存在与缺失的成对请求,保持普通候选数量一致。对Jev和Laya分别统计缺失检测与误拒绝率,再只用校准集调整拒绝阈值。 在TREC五候选设置中,Laya能检出97.2%的缺失案例,但误拒绝69.7%的有效案例;Jev分别为24.8%与0%。阈值调整改变了这两类错误的取舍。不同任务的结果说明,分类准确率、概率排序与拒绝策略应分别评测。本信号采用10月2日的v1,未将10月6日扩展实验写回历史版本。

正确选项缺失的检出率与有效选项误拒绝率。
正确选项缺失的检出率与有效选项误拒绝率。