推理中断的地方：通过控制 LLM 推理链中的逻辑连接词进行逻辑感知路径选择

虽然LLM展示了令人印象深刻的推理能力，但它们在多步逻辑推导中仍然脆弱，其中单个转换错误可以传播到整个推理链，导致性能不稳定。在这项工作中，我们将逻辑连接词确定为这种结构脆弱性的主要点。通过实证分析，我们表明连接标记起到高熵分叉点的作用，在该点模型经常难以确定正确的逻辑方向。受此观察的启发，我们假设干预逻辑连接选择可以引导 LLM 走向更正确的逻辑方向，从而改善整体推理链。为了验证这一假设，我们提出了一个多层框架，专门干预推理过程中的这些逻辑关键节点。我们的框架包括（1）基于梯度的逻辑转向，引导 LLM 内部表示走向有效的推理子空间，（2）局部分支，通过有针对性的前瞻搜索解决歧义，以及（3）有针对性的转移偏好优化，这是一种手术强化学习目标，有选择地优化逻辑枢轴处的单标记偏好。至关重要的是，通过仅将干预集中在逻辑关键转换上，与波束搜索和自一致性等全局推理时间缩放方法相比，我们的框架实现了良好的准确性和效率权衡。