视觉属性如何影响Web智能体？界面设计因素的综合评估

Web智能体已在广泛的网页任务上展现出强劲性能。然而，关于环境变化影响的现有研究多聚焦对对抗攻击的鲁棒性，较少关注良性场景下智能体的偏好。尽管早期研究考察了文本属性如何影响智能体行为，对视觉属性如何塑造智能体决策的系统理解仍然有限。为此，我们提出VAF，一个受控评估流水线，用于量化网页视觉属性因素（Visual Attribute Factors）如何影响Web智能体决策。具体而言，VAF包含三个阶段：(i)变体生成，确保变体与原物品共享相同语义，仅在视觉属性上不同；(ii)浏览交互，智能体通过滚动和点击感兴趣的物品来导航页面，模拟人类用户的在线浏览；(iii)通过点击动作与推理双重验证，我们用目标点击率（Target Click Rate）和目标提及率（Target Mention Rate）联合评估视觉属性的影响。通过量化原始与变体之间的决策差异，我们识别出哪些视觉属性对智能体行为影响最大。跨8个变体家族（共48个变体）、5个真实网站（包括购物、旅行和新闻浏览）与4个代表性Web智能体的大量实验表明，背景颜色对比度、物品尺寸、位置和卡片清晰度对智能体动作有强影响，而字体样式、文本颜色和物品图片清晰度的影响较小。