标签协议并不衡量授权

许多团体现在将标签本体和元数据协调委托给Agentic LLM管道。我们建造了一个并对其进行了审核。我们的总分看起来很健康，但管道不断以他们没有表现出来的方式失败，所以我们开始寻找他们隐藏的东西。标签协议询问提议的标签是否与参考相匹配。它不会询问智能体是否有权提出该建议，输出是否足够完整以供采取行动，或者标签是否会随着证据的移动而移动。我们在 COBRE 和 FBIRN（来自不同联盟的两个精神分裂症和对照神经影像队列）上分别测量了这三者，并且它们在标签一致性和彼此之间有所不同。显示智能体的上游提案几乎没有改变标签协议，从 0.857 到 0.870，而对所选操作的协议则加倍，从 0.409 到 0.830。解析为 JSON 的输出仍然会在一个模型的 10% 的案例和另一个模型的 33% 的案例中删除必填字段。而智能体则可以完美地重播其第一个答案，在原始案例中得分为零，一旦我们改变了决定它们的证据，得分为零。在下游，这些指标都没有报告的行顺序错误会擦除大部分诊断信号。因此，我们分开衡量这些属性，将每个属性与一个控件配对，并对结果进行门控承诺，这使得故障可见并且易于发送给人员。这些都不能防止失败。我们的参考标签是源自规则的，因此与它们一致意味着一致性，而不是正确性。代码可在 https://github.com/amir-sbg/Label-Agreement-Does-Not-Measure-Authorization. 获取