CoDA：通过CoT引导的领域适应实现有效的跨域知识迁移

大语言模型（LLM）在逻辑推理方面取得了长足进步，但仍落后于人类水平的表现。上下文学习提供了一种可行的解决方案，通过在输入中提示专家精心整理的领域内示例来提升模型性能。然而，在许多专家知识稀缺的现实领域，例如低资源科学学科、新兴生物医学子领域或小众法律管辖区，这类高质量的领域内示例本身就有限或完全不可得，从而限制了这些方法的普遍适用性。为缓解这一局限，近期研究探索了检索跨域样本作为替代性上下文示例。然而，由此带来的收益仍然有限。这在很大程度上归因于源分布与目标分布之间显著的领域偏移，它阻碍了模型有效识别和利用潜在共享结构或隐式推理模式的能力。因此，仅依赖原始文本提示时，LLM难以以稳健且系统的方式抽象并迁移此类跨域知识。为解决这些问题，我们提出CoDA，它采用轻量级适配器直接干预中间隐藏状态。通过将基于特征的CoT增强参考表示蒸馏与用于核化分布匹配的最大均值差异（MMD）相结合，我们的方法对齐了源域和目标域的潜在推理表示。在多个模型家族的多种逻辑推理任务上进行的大量实验验证了CoDA的有效性，其以显著优势大幅超越此前的最先进基线。