论文

用于生成具有耦合语义的例程的 LLM 上下文的动态适应

Dynamic Adaptation of the LLM Context for Generating Routines with Coupled Semantics

智能体系统Agent 架构与控制循环

摘要

当正确性取决于依赖于执行的耦合时,基于 LLM 的代码生成会失败:一个例程的含义是由另一个例程的运行时行为定义的,这种关系无法仅通过文本描述来解析。这种限制(我们称之为静态绑定)并不局限于显式耦合问题;每当正确性依赖于跨组件的联合执行行为时,从显式的交叉耦合优化器到打包、路由和符号搜索中更微妙的联合约束,它就会在不同程度上出现。本文提出了动态上下文适应,这是一种为此设置而设计的样本高效验证生成循环。验证代理从执行跟踪中提取结构化诊断信息,为每次迭代提出多个候选的生成代理提供类似梯度的指导。从问题描述导出的知识图为生成代理提供语义约束。模拟退火在候选者中进行选择以避免贪婪崩溃。我们的方法在 300 次和 600 次评估中的 8 个问题中的 7 个上优于零样本、Reflexion 和 OpenEvolve(p < 0.01),在这种情况下,基于群体的搜索尚未积累足够的多样性来竞争。值得注意的是,在主要激励问题(交叉耦合优化)上,我们的方法还在 1000 次评估中获得了最佳分数,这与当正确性取决于运行时耦合时结构化执行反馈最有益的假设一致。消融结果证实结构化执行反馈是主要驱动力。