大语言模型求解离散优化问题：评估与逐步推理

本工作通过测试自然语言数据集，研究了Llama-3系列模型与CHATGPT等不同模型在以不同表达形式求解离散优化问题上的能力。与参数范围有限的形式化数据集不同，我们的数据集涵盖离散优化问题中的多种问题类型，参数量级跨度大，包括参数集合庞大的实例，并整合了增广数据。其目标在于：（1）概述LLM在大规模问题上的能力；（2）为希望自动化求解离散优化问题的人提供建议；（3）将该性能作为未来研究的基准。这些数据集包括原始、扩展与增广数据集。在这三类数据集中，原始与增广数据集用于评估，扩展数据集则可辅助微调新模型。实验中，在多个数据集上比较了强模型与弱模型、CoT方法与无CoT方法。结果显示，更强的模型表现更好，符合预期。与普遍共识相反，结果还表明CoT技术并非总能提升模型能力，而乱序数据集改善了模型在易于理解问题上的表现，尽管其方差有时很高，是不稳定性的体现。因此，对于寻求提升离散优化问题自动化求解能力的人，建议参考实验结果（包括附录中呈现的折线图）以及本研究得出的结论，以获取相关建议。