在线调查中智能体AI能力与数据质量控制的竞赛

在线调查是各个领域的基本数据收集工具，注意力检查是响应质量的关键守护者。然而，代理人工智能（由大语言模型（LLM）大脑和/或具有工具增强功能的多模态处理单元驱动的目标导向系统）的快速出现对这些保障措施的稳健性提出了新的问题。我们研究代理人工智能架构如何完成基于网络的调查并通过标准注意力检查。我们评估了一种能够在受控调查沙箱上进行多模态输入处理和基于工具的网络交互的单代理架构。我们从两个角度来分析这个问题。从攻击的角度来看，我们演示了暴露的 DOM 元数据和可预测选项编码等结构漏洞如何允许代理仅通过结构化解析来解决注意力检查。从防御的角度来看，我们实施了 DOM 元数据混淆的缓解策略，以删除基于文本的问题中的语义线索。我们评估多种开源语言和多模态模型来研究能力和编排有效性。根据我们的评估，我们提供了关于如何同时满足经验主义者和代理人工智能研究人员的需求的观点。