论文

通过不断发展的程序瓶颈解释神经组合优化

Interpreting Neural Combinatorial Optimization via Evolving Programmatic Bottlenecks

模型评测模型行为与机制分析

摘要

神经组合优化 (NCO) 实现了强大的性能,但其黑盒性质仍然是部署和科学诊断的关键障碍。标准的可解释性工具,例如概念瓶颈模型 (CBM),不适合 NCO,因为 NCO 的决策是动态的、依赖于状态,并且缺乏适当的概念词汇定义。为了弥补这一差距,我们引入了不断发展的程序瓶颈(EPB),据我们所知,这是第一个通过将黑盒 NCO 模型提炼成人类可读的程序组合来解释 NCO 政策的框架。 EPB 使用 LLM 自主演化一组程序,其中每个程序的每步操作分布充当瓶颈。 EPB 通过迭代框架进行工作:Block I 修复程序库容量,并引入混合文本-数字梯度下降方案,该方案将学生路由器更新的数字梯度与基于 LLM 的程序修订的文本梯度结合起来; Block II 通过针对故障的扩展和冗余修剪来动态调整银行容量。大量的实验证明了 EPB 的有效性和广泛的适用性,其中提炼的程序组合在很大程度上与原始性能相匹配。 EPB 还揭示了 NCO 行为在优化阶段之间发生变化,并且可以近似为经典启发式变体的组合。我们的工作推进了可解释的 NCO 并将 EPB 确立为解释顺序决策模型的有前景的工具。