论文
StressWeb:现实交互变化下 Web 代理鲁棒性的诊断基准
StressWeb: A Diagnostic Benchmark for Web Agent Robustness under Realistic Interaction Variability
摘要
基于 大语言模型 的 Web 代理在实际 Web 交互任务中表现出了强大的性能。然而,现有的评估主要是在相对稳定且表现良好的交互条件下进行的,这可能会高估智能体的稳健性。在这种理想化的环境中,任务的高成功率并不一定反映在现实网络交互下的表现。为了解决这个限制,我们引入了针对网络代理的诊断压力测试基准。我们首先构建真实可控的网络环境,提供干净稳定的交互工作流程作为参考基线。然后,我们引入模拟交互可变性的结构化和受控扰动,包括改变布局、改变交互语义和执行中断。通过比较干净和扰动设置之间的代理行为,我们的框架能够在假设交互场景下系统地诊断鲁棒性。通过对最先进的多模式网络代理的广泛评估,我们表明基于压力的评估暴露了在干净的基准条件下仍然隐藏的故障模式和实质性的鲁棒性差距。