HalluPeer：基于分类体系的科学同行评审幻觉检测基准

学术同行评审规模的不断扩大促使人们使用大语言模型（LLM）作为评审助手，但 LLM 可能会产生流畅但不受支持的主张，从而破坏评审的可靠性。现有的幻觉基准并不是为同行评审而设计的，同行评审需要在冗长的技术论文中证实其主张。我们引入了 HalluPeer，这是一个在科学同行评审中检测幻觉的基准，提供了论文内容、人工撰写的评审和注入幻觉的评审的对齐三元组，并带有检测、分类和本地化注释。我们的管道引入了特定于同行评审的幻觉分类法，识别评审上下文，并通过自动过滤注入幻觉。对 12K 篇论文和 38K 篇评论进行的实验表明，现有的检测器很难将幻觉与合理的批评区分开来，而对真实评论的评估表明，HalluPeer 定义的幻觉模式出现在真实的同行评审中，这凸显了源感知验证的迫切需要。我们的项目页面可以在 https://github.com/Lin-TzuLing/HalluPeer.git 找到