通过检索增强生成进行LLM优化与约束建模

两种优化建模和约束建模都是非平凡的问题，需要深厚的专业知识和模型语言建模的熟练度。尽管在物流、医疗和供应链管理等领域的重要性，当前的大语言模型仍然频繁地产生结构不一致或不完整的优化形式，特别是在组合型设置中。本文评估了基于一个精心构建的合成数据集的检索增强生成管道是否可以有意义地提高LLM优化建模性能。使用Text2Zinc数据集中的种子描述和使用LLM生成的专业人物，以JSON格式指定并关联验证过的Python求解器脚本，合成500个优化问题。这些问题被编码到Chroma向量数据库中。对于每个推理问题，检索与问题相似的其他问题，并将其作为LangChain LLM代理的上下文指导。使用三个基准测试床评估提出的管道，使用Qwen 3 30B Instruct模型。在NL4OPT上，准确率从40%提高到72%，在MAMO Easy上从40%提高到56%，在MAMO Complex上从32%提高到56%。使用语义验证的合成示例大大提高了解决方案的准确性和结构。结合合成数据生成与检索增强，提供了一种有效的替代方法，表明与精细调优相比，带有检索增强的领域特定合成语料库可以作为实际决策支持环境中的LLM优化工具的实际部署路径，无需昂贵的模型重新训练。