EPC：用于测量 LLM 代理系统中评估者偏好动态的标准化协议

当 LLM 代理使用评估者反馈来调整闭环中的行为时，评估者偏差会通过代理的策略分布传播，这种现象称为评估者偏好耦合。先前的工作已经记录了多个评估器系列和模型版本之间的耦合，但该领域缺乏标准化协议，使第三方研究人员能够（i）重现耦合测量，（ii）比较评估器和时间点的结果，以及（iii）在专有评估器默默更新时检测测量衰减。本文提供了该协议。我们指定了 EPC（评估器偏好耦合）——四阶段隔离范式的详细 RFC 风格协议规范，涵盖执行器和评估器配置、策略和任务设计、TTRL 更新规则、度量计算（gamma、JSD、ECE、Brier）和输出模式。我们为该协议提供了版本化的参考快照 v1.0：来自五项独立研究的八个评估器条件（N = 122 个独特的 GPT-4o、Qwen、DeepSeek 等实验重复）的耦合测量，并用评估器版本标识符、API 端点和测量日期进行注释。快照是明确有时间限制的：所有值都以特定模型版本为条件，并且预计会随着专有评估器的更新而衰减。我们定义了版本控制约定（vX.Y-Z、编码协议版本、快照版本和评估器生成），并提供了涵盖采用、解释和已知陷阱的使用指南。协议、参考快照和实现代码作为开放基础设施发布。