你被告知了多少？在同行评审中衡量外部信息

会议政策将使用大型语言模型（LLM）完善自己的评论与委托批评区分开来，但当前的人工文本检测（ATD）方法主要测量表面形式而不是其内容的起源。相反，我们衡量评论所携带的外部信息：被评论的论文和通用评论指令未解释的信息。我们提出了自我条件化（Self-Conditioning），这是一种无监督的信息理论估计器，它将评论在其生产上下文中的可能性与当该上下文通过从评论本身提取的提示进行增强时的可能性进行比较。在 IntelLabs 同行评审基准上，自我调节将完全委托评审与机器打磨评审区分开来，AUC 高达 1.0 美元，同时对表面重写基本上不敏感。此外，随着生成器收到越来越多的外部提供的信息，它们的分数单调地向人类体系移动，这与标准 ATD 基线不同。高温采样可以逃避估计器，但代价是输出质量。