沙丘社区
论文

SafeGEO：了解推荐代理中的生成引擎优化风险

SafeGEO: Understanding Generative Engine Optimization Risks in Recommendation Agents

Qianfeng Wen; Yifan Simon Liu; Xin Liu; Difan Jiao; Blair Yang; Junda Wu; Zhenwei Tang
模型评测安全与风险评测

摘要

生成引擎优化 (GEO) 允许内容所有者重写 Web 内容，以提高其在生成系统中的可见性。在推荐代理中，这会产生一种风险，即由卖家控制的来源使有缺陷的产品看起来比实际情况得到更好的支持。我们通过询问当这些资源被重写为 GEO 时，推荐代理是否继续做出与用户效用一致的决策，从而在生成阶段研究这种风险。为了使这个问题可衡量，我们构建了 SafeGEO，这是一个评估套件，包含 600 个推荐案例中的 22 个 GEO 攻击变体。我们的经验表明，GEO 攻击可以推广有缺陷的目标产品：它们将此类有缺陷的产品进入推荐集的比率提高了高达 83.2 个百分点 (pp)。我们进一步研究了代理端设计选择是否可以减轻这种风险，并表明简单的防御措施可将有害目标提升减少高达 39.2 pp。这些收益是巨大的，但不会恢复无 GEO 性能，表明尽管缓解了 GEO 仍然是一个严重的风险。