论文
基于检索的上下文学习:领域适配框架
Retrieval-Based In-Context Learning: A Domain Adaptation Framework
摘要
上下文检索 (ICR) 是上下文学习 (ICL) 的一种基于检索的形式,其中根据与查询的相似性从源数据库中检索演示,而不是独立采样。在这项工作中,我们将 ICR 表述为一种域适应问题,其中数据库的源分布 $P$ 可能与测试查询标签对的目标分布 $Q$ 不同。我们研究了 ICR 在灵活的分配变化类别下的表现,该分配变化大大扩展了先前的工作 \citep{li2024fine,guo2025retrieval},并建立了量化这种学习范式的好处和陷阱的理论保证。我们的理论通过合成任务和语言任务的实验得到了验证。