论文
重新思考逐步模型路由:具有成本效益的表推理视角
Rethinking Stepwise Model Routing: A Cost-Efficient Table Reasoning Perspective
摘要
大型推理模型(LRM)在表推理任务上实现了强大的性能,但由于推理轨迹较长而产生了大量的推理成本。逐步模型路由通过动态地将推理步骤分配给较小或较大的模型来缓解此问题。然而,用于表推理的逐步模型路由仍未得到充分探索。通过实证分析,我们发现涉及表格的推理步骤包含两种具有不同不确定性分布的标记:基于表格结构的表格标记,例如单元格值和标题,以及代表周围自然语言推理的文本标记。两种标记类型的不确定性与模型在下一步推理步骤中出错的风险相关。然而,现有的方法无法对它们进行单独建模,从而导致路由决策不理想。为了解决这个问题,我们提出了 EcoTab,一种用于高效表推理的表感知逐步路由框架。在每个推理步骤中,EcoTab 分别估计表标记和文本标记的不确定性,将它们映射到小模型的下一步失败风险,并将两种风险结合起来进行路由。对多个表推理基准的实验表明,EcoTab 始终优于强大的基准,并在准确性和效率之间实现了更好的平衡。