Lazy Grounding：利用真实但不相关的证据攻击搜索智能体

搜索代理通过将其答案建立在检索到的网络结果中来减轻幻觉。然而，基于检索的方法也引入了攻击面：代理可能会从包含虚假或恶意文档的有毒搜索语料库中引用错误信息。我们证明，在某些情况下，搜索代理的推理和响应可能会受到完全事实但分散注意力的信息的影响。我们将这种故障称为惰性证据对齐。我们通过将基准问题的答案更改重写中的附近证据注入到搜索语料库中来暴露对证据的机械套用。每个文档都包含支持相邻重写问题的事实证据，但会针对原始问题进行检索。在 12 个模型基准对中，该攻击导致搜索代理响应的准确性平均下降 5.9 点，最高可达 17.3 点，同时在每种设置中都会采用附近答案。当附近的证据出现得较晚或更具答案形状时，效果会更强。我们的结果表明，强大的搜索代理不仅必须防范错误信息，还必须防范事实证据的误用。该代码可在 https://github.com/frankyzha/lazy-grounding 上公开获取。