SeLaR：大语言模型 中的选择性潜在推理

思想链（CoT）已成为 大语言模型 推理的基石，但其有效性受到离散标记采样的有限表达能力的限制。最近的潜在推理方法试图通过用软嵌入（词元嵌入的概率加权混合）或隐藏状态替换离散词元来减轻这种限制，但它们通常遇到两个问题：（1）全局激活将扰动注入高置信度步骤，损害推理稳定性； (2) 软嵌入迅速崩溃到最高概率的标记，限制了对替代轨迹的探索。为了应对这些挑战，我们提出了 SeLaR（选择性潜在推理），这是一个轻量级的 无需训练 框架。 SeLaR 引入了一种熵门机制，仅在低置信度步骤激活软嵌入，同时在高置信度步骤保留离散解码。此外，我们提出了一种熵感知对比正则化，将软嵌入推离主导（最高概率）标记的方向，鼓励对多个潜在推理路径的持续探索。五个推理基准的实验表明，SeLaR 始终优于标准 CoT 和最先进的 无需训练 方法。