论文
曝光不是表现:测量目标和输出分辨率共同决定哪种行为-忠实性 评估器获胜
Exposure is not manifestation: measurement target and output resolution jointly determine which behavioural-faithfulness evaluator wins
摘要
行为审计询问语言模型的行为是否如其声称的那样,但报告检测分数时没有分离两个目标:回复是否是在行为诱导条件下产生的(暴露)以及行为是否在其中出现(表现)。对紧凑的 1.46 亿参数审核员的冻结表示读数进行评分,并根据相同的 720 个答复上的每个标签进行前沿判断,当目标发生变化时,仪器之间的差距会移动大约 0.2 AUROC。在法官部署的界面下,只需一个判决,排名就会颠倒过来:审计师在暴露方面领先,0.804 对 0.718,而在表现方面落后,0.690 对 0.811。通过向法官询问以连续置信度分数回答的特定目标问题或通过对审核员的读数进行阈值化,匹配任一方向的输出分辨率,消除逆转但不消除交互作用,从而排除所有三个分辨率(0.207、0.237 和 0.169)的零。目标控制仪器之间的距离;接口控制该距离是否改变它们的顺序。审计员的双曲几何在这里没有任何优势。单一行为检测 AUROC 未明确说明:此类声明仅在陈述被估量、评估器及其输出接口时才具有可比性。