LERA：LLM-增强型 RAG，用于生成聊天机器人中的广告拍卖

将广告拍卖机制集成到基于 大语言模型 (LLM) 的聊天机器人中，为商业化提供了重大机会，但在平衡相关性、效率和用户体验方面提出了独特的挑战。最近，Feizi 等人~\citep{feizi2023online} 和 Hajiaghayi 等人~\citep{hajiaghayi2024ad} 概述了一种检索然后生成的范例，该范例将检索和生成解耦，提供轻量级的广告插入和支付确定。然而，当前的检索仅依赖于文本嵌入相似性，这可能会导致商业误解和重复插入等问题。在本文中，我们提出了 LERA，这是一种专为 LLM 聊天机器人量身定制的两阶段检索然后生成拍卖框架。在第一阶段，基于嵌入的粗略过滤预先选择一小组候选广告商。在第二阶段，通过精心设计的提示来查询 LLM 本身，以生成针对候选者的 logits，这将作为精细的有机相关性分数。这些分数与出价相结合，临界值支付规则考虑了粗略过滤和精细排名阈值，确保效用最大化广告商的真实性。该框架自然地扩展到动态对话流和长响应中的多个广告插入。综合广告商查询基准的实验表明，LERA 显着提高了广告选择准确性和插入多样性，同时仅产生可控的延迟开销。