论文

具有跟踪预算和选择性细化的 Text2Cypher 自适应测试时间推理

Adaptive Test-Time Inference for Text2Cypher with Trace Budgeting and Selective Refinement

模型推理测试时计算扩展

摘要

大语言模型 已启用结构化数据库的自然语言接口,但生成的查询可能仍包含语法错误、违反数据库模式或在执行期间失败。测试时推理策略无需额外训练即可提高生成可靠性,但现有方法通常使用固定推理预算和统一的细化策略,导致不同复杂程度的问题之间进行不必要的计算。在这项工作中,我们研究了 Text2Cypher 的自适应测试时推理,并引入了两种策略:自适应跟踪预算(根据问题难度动态调整候选生成预算)和选择性执行引导细化(仅在预计额外推理有益时才应用校正)。 Gemma-2-9B 和 Qwen-2.5-7B 上的实验表明,自适应跟踪预算将平均生成预算减少了 30.7%,将挂钟推理时间减少了 21-25%,同时保持了相当的生成质量。选择性细化保留了完全细化的几乎所有执行成功收益,仅将执行成功率降低了 0.2-0.5%,同时避免了对更简单问题的不必要的细化。实验表明,单个校正模型 (Gemma-4) 可以有效地细化不同模型系列的输出,这表明细化可以在系列之间转移。