论文
交互式代理的选择感知压力测试
Selection-Aware Stress Testing for Interactive Agents
摘要
代理评估通常使用一个基准来选择工作流程,然后搜索其优势减弱的任务类型,因此这两个结论都是从相同的数据中选择的。我们引入了选择感知语义压力测试(\SASST{}),它从发现任务的预执行特征中学习任务重新加权,并评估单独确认任务上的相同配对比较。该协议检查支持性和稳定性,对所有计划的声明使用联合边界,并且不能返回任何声明。我们证明了在规定的聚类假设下的条件渐近有效性。四十个集群的审计发现高斯覆盖率不足和保守的 Bonferroni $t$ 界限。在一项 480 集 $τ$ 基准研究中,3.75 美元的发现收益在确认后消失了。第二个模型研究同样既没有证实工作流程的好处,也没有证实稳定的压力规则。