论文

NumericJev:以多叉决策树生成数值的免训练解码算法

NumericJev: Jev-like LLM Numerical Decoding with Multiway Decision Trees

模型推理解码与生成控制判别式推理与决策

摘要

大型语言模型可以解释自然语言,但稳健的决策仍然具有挑战性。类似 Jev 的模型公开了结构化选择,但这些接口并不直接提供所需精度的数值。我们提出了 NUMERICJEV,这是一种免训练的数值解码算法,可以通过类似 Jev 的结构化选择界面从任何大语言模型进行数值输出。令人惊讶的是,在我们的算术基准上,它比从包含正确答案的候选列表中直接选择的性能高出 2.93 个百分点(图 1)。我们的动机来自于这样的观察:数值范围选择本身就是一个类似 Jev 的大语言模型可以解决的决策问题。 NUMERICJEV 通过多路决策树递归地细化范围,同时保留上下文中的原始问题,无需参数更新或隐藏状态访问。在 100 值网格上,十路树仅需要两轮决策。范围归一化 MAE 为 1.84%,而直接选择为 5.18%。当提供该值时,一项单独的三日历史指数研究得出平均相对召回误差为 4.58%,读出误差为 0%。代码可在 https://github 上获取。 com/Bring-AI/jev-numeric。