论文

SALA:面向上下文学习复杂推理的语义感知逻辑对齐

SALA: Semantic-Aware Logical Alignment for Complex Reasoning in In-Context Learning

上下文与知识上下文工程

摘要

复杂推理的有效情境学习 (ICL) 依赖于选择正确的演示。传统的基于表面相似性的检索方法无法捕捉潜在的问题解决逻辑。最近基于逻辑的方法通过匹配预定义的推理步骤来解决这个问题,但是严格的规则和精确匹配标准不适合处理灵活或多样化的推理过程。为了解决这个问题,我们提出了 SALA,一种语义感知逻辑对齐框架。 SALA 不依赖固定库存,而是自动学习特定于任务的推理操作。然后,它将这些操作嵌入到连续的语义空间中,并使用动态时间规整(DTW)来对齐推理序列。这种方法允许软、灵活的推理逻辑匹配,同时保持高度可解释性。四个推理基准和三个LLM的实验表明,SALA 优于现有的演示选择方法。进一步的分析证实了操作归纳和逻辑语义对齐的作用。

SALA:面向上下文学习复杂推理的语义感知逻辑对齐:论文配图
图 1:特定于任务的操作的归纳过程示例。