论点和信头：人工智能评估中的源位置一致性

来自特定发言者的论点可能会令人惊讶，但并不是一个糟糕的论点。人工智能评估者会将这些判断分开吗？两项预先注册的描述性研究和后来的 Jev 补充收集了关于美国人工智能政策、德国债务制动和瑞士核能的六篇固定文本的 2,976 项可用评估。每个文本都根据多个来源属性呈现。关键的比较是询问两个来源之间的差距是否随着论点的变化而变化。例如，在 Sol 上，国家安全论点在 CODEPINK 下的平均评分为 0.359，在 College Republics 下的平均评分为 0.639；民权论点得到 0.742 和 0.721。对一种来源的持续偏好无法解释这种模式。相关的交互出现在各个主题和最近的模型配置中，包括启用推理的模型配置，而一些比较产生了很小的影响。后来的欧洲 Jev 补充品产生了 5 种交互作用，低于采用的绝对参考值 0.05；与聊天系统相比，其独特的评分规则和中断的收集限制。一些书面评估明确指出来源与其归属位置之间不匹配。总的来说，数字和口头证据支持源位置一致性作为一种合理的解释，以及涉及任务的可信度、真实性和解释的相互竞争的描述。该论文通过受控比较得出了这一推论，在附录中报告了条件事后 p 值，并记录了人工智能进行的研究背后的人类决策和委托检查。