学术审稿LLM评测：排序、绝对评分与阈值校准需分开比较

投稿增长重新激发了利用LLM辅助同行评审的兴趣，但应如何组织评价、模型选择有多重要，以及LLM评分能否预测研究影响，仍不清楚。我们在232篇分层抽样的ICLR2025投稿上，用三种输入表示和三种LLM比较五种评价范式。直接绝对评分与比较排序在人类评分秩相关上相当，却把多数预测压到录用阈值以上，几乎不标出人类评审打分低于阈值的论文。匹配基准比例的重新校准对照表明，比较排序提供的是分布位置，而非更好的相对顺序；重新校准后，直接评分与人类的一致性高于Elo，仅需后者24%的API调用。只输入摘要优于对全文做摘要，模型选择的重要性不亚于范式选择。在全部11513篇有分数投稿上复现了这些现象，还发现绝对一致性依赖评测集分数离散程度，且没有一种方法的准确率超过一律拒绝基线。人类评分与引用量的关联强于各范式，唯一例外是Group Rating：控制人类评分后仍保留引用相关性，而且只有它能在已录用论文池内排序。仅凭排序质量无法评价审稿质量，校准、阈值、模型和目标结果都重要。