模型可以建模，但不能绑定：文本到优化的结构化基础

文本到优化需要两个可分离的功能：建模——选择正确的优化结构——以及绑定——将每个系数、索引和参数建立在具体问题数据的基础上。我们通过 Text2Opt-Bench 进行研究，这是一个可扩展的求解器验证优化问题基准，涵盖 12 个类别，从教科书线性程序到具有多达数千个变量的随机和多目标公式。在 10 多个模型中，我们发现随着实例数据的增长，即使公式本身很简单，准确性也会下降。我们称之为有效结合限制。我们使用一系列技术 BIND 来研究它，这些技术将数字数据外部化到结构化文件中，以便模型以编程方式绑定数据，而不是从提示中转录。当使用预言机来外部化数据时，我们恢复了 12 到 27 个精度点，确认绑定是一个关键但可恢复的故障模式。在没有预言机访问的可部署环境中，我们通过仅在绑定上微调模型来验证我们的假设，并表明它在三个结构不同的优化类别中优于端到端 SFT 和 RL，其中 1.5B 绑定专家单独匹配 7B 端到端基线。