论文
优点:通过评分标准知情训练来匹配审稿人分配的专业知识
MERIT: Matching Expertise via Rubric-Informed Training for Reviewer Assignment
摘要
对于主要场所来说,将提交的内容与合适的审稿人进行大规模匹配是一个越来越大的挑战,但现有的方法要么依赖于粗略的代理信号,将一般相关性与真正的适用性混为一谈,要么需要昂贵的人工注释,而这些注释很难扩展以进行训练。我们提出了 MERIT,这是一个两阶段框架,通过将标准级专业知识匹配转换为可扩展的适宜性监督来弥补这一差距。在第一阶段,我们通过强化学习训练审稿人评估员,以确定论文所需的专业知识维度,将其与审稿人之前的工作相匹配,并做出适合性决策,并由 LLM 法官根据论文特定专业知识标准提供奖励。在第二阶段,我们将评估者的预测提炼为基于嵌入的 检索器,以实现高效的大规模分配。实验表明,我们的 4B 审阅者评估器在适宜性分类方面优于更大的通用 LLM,并且生成的 检索器 在 LR-Bench 和 CMU Gold 数据集上实现了最先进的性能。我们的代码可在 https://github.com/Luli3220/MERIT 获取。