论文
实现稳健的情境学习：利用分布外代理进行目标不可访问的演示检索
Toward Robust In-Context Learning: Leveraging Out-of-distribution Proxies for Target Inaccessible Demonstration Retrieval
摘要
尽管研究表明 大语言模型 (LLM) 在分布外 (OOD) 任务上表现良好，但随着分布偏移变得更加严重，它们的优势往往会减弱。因此，研究人员的目标是从可用源域中检索分布相似且信息丰富的演示，以提高 LLM 的推理能力。然而，在目标域不可访问的实际场景中，评估未知分布具有挑战性，这间接影响了所选演示的质量。为了解决这个问题，我们提出了 \textbf{DOPA}，这是一个演示搜索框架，它结合了 OOD 代理来近似不可访问的目标域并指导检索过程。在基于代理的评估的基础上，DOPA 进一步引入了基于马哈拉诺比斯距离的全局多样性约束，以确保检索到的演示之间有足够的多样性。多个 LLM 和任务的实验结果表明，DOPA 有效增强了 OOD 设置\footnote{https://github.com/bort64/ood\_code} 的鲁棒性。