沙丘社区
论文

借助跨域先验知识进行类比推理：面向上下文学习的跨域知识迁移实证研究

Reason Analogically via Cross-domain Prior Knowledge: An Empirical Study of Cross-domain Knowledge Transfer for In-Context Learning

Le Liu, Zhiming Li, Jianzhi Yan, Zike Yuan, Shiwei Chen, Youcheng Pan, Buzhou Tang, Qingcai Chen, Yang Xiang, Danny Dongning Sun
模型评测模型能力评测

摘要

尽管取得了成功，现有上下文学习（ICL）依赖域内专家示例，在专家标注稀缺时限制了其适用性。我们假设不同领域可能共享底层推理结构，使得即使语义不匹配，源域示例也能改进目标域推理。为检验这一假设，我们对不同检索方法开展了全面的实证研究，以验证在上下文学习设置下实现跨域知识迁移的可行性。我们的结果证明了跨域ICL中的条件性正迁移。我们识别出一个清晰的示例吸收阈值：超过该阈值后，正迁移更可能出现，且增加示例能带来更大收益。进一步分析表明，这些收益源于检索到的跨域示例对推理结构的修复，而非语义线索。总体而言，我们的研究验证了利用跨域知识迁移提升跨域ICL性能的可行性，并激励社区为这一新方向探索设计更有效的检索方法。我们的实现发布于 https://github.com/littlelaska/ICL-TF4LR

借助跨域先验知识进行类比推理：面向上下文学习的跨域知识迁移实证研究：论文配图
图 1：我们的跨域 ICL 评估工作流程概述。 (A) 源演示池被编码并索引到检索数据库中。 (B) 对于目标查询，系统检索语义相似的源演示。 (C) 检索到的演示被组成提示并输入到冻结的LLM以产生逐步推理和最终答案。