小语言模型中语法约束文本到 SQL 的束搜索、自洽性和推理时间缩放限制

使用 大语言模型 时的一种常见权衡涉及减小模型的大小，同时增加推理时的计算量，例如使用更宽的波束搜索。在本文中，我们研究了这种“模型大小与推理计算”权衡的约束情况，其中模型输出在推理时受到严格语法的约束。我们的结果表明，受约束权衡的行为与无约束权衡不同。我们研究将散文查询转换为等效 SQL 查询（文本到 SQL）的任务。性能是在 Spider 文本到 SQL 基准测试上进行评估的，使用参数大小从 0.5B 到 7B 不等的 Qwen2.5-Instruct 模型系列，全部采用 4 位精度。我们尝试了两种不同的推理计算方法：（i）使用可变数量的波束进行波束搜索； (ii)样本+投票，即对几个受约束的输出进行采样，然后对其执行结果进行投票，其中样本数量是变化的。在 1034 个示例的开发集上，我们发现：（a）集束搜索和样本+投票都提高了准确性，特别是在较小的模型尺寸上； (b) 在本实验中，“模型大小与推理计算”的权衡并不有利，因为与在相同模型大小上增加推理计算相比，转向更大的模型大小通常会带来更高的精度； (c) 在匹配的推理预算下，集束搜索优于样本+投票。后一个结果特别令人感兴趣，因为它与无约束权衡的结果形成对比。