通过基于域不变神经元的检索迈向有效的上下文内跨域知识迁移

摘要

大语言模型（LLM）在逻辑推理上取得了显著进展，但仍未达到人类水平。当前的增强策略依赖专家手工编写的域内示例，限制了它们在专业知识稀缺领域（如专门数学推理、形式逻辑或法律分析）的适用性。在本工作中，我们证明了利用跨域示例来提升LLM推理性能的可行性。尽管领域差异巨大，许多可复用的隐式逻辑结构在各领域间是共通的。为了给所研究的未见领域有效检索跨域示例，我们进一步提出一种有效的检索方法，称为基于域不变神经元的检索（DIN-Retrieval）。简而言之，DIN-Retrieval首先总结一个跨领域通用的隐表示。然后，在推理阶段，我们使用DIN向量检索结构上兼容的跨域示例用于上下文学习。在数学与逻辑推理迁移的多种设置下的实验结果表明，我们的方法相较最先进方法平均提升1.8。我们的实现发布于 https://github.com/Leon221220/DIN-Retrieval。

通过基于域不变神经元的检索迈向有效的上下文内跨域知识迁移：论文配图 — 图 2：拟议的基于 DIN 的 ICL 框架概述。该模型从源激活和目标激活中识别域不变神经元 (DIN) (A)，构建稳定的 DIN 向量用于表示 (B)，通过 DIN 向量相似性检索演示 (C)，并执行跨域思维链推理 (D)。