论文
顺序就是保证:验证者预算的代码删除与静态优先学习的提案
The Order Is the Guarantee: Verifier-Budgeted Code Deletion with Static-First Learned Proposals
摘要
前沿编码模型现在可以匹配或超过编程基准上强大的人类参考点,但基准测试的成功并不意味着软件可维护。提示驱动的“氛围编码”是附加的:新的分支、防护和回退的积累速度比删除过时的逻辑更快。我们研究逆问题——当执行验证能力有限时,人工智能系统如何删除代码。我们将冗余代码减少制定为提案调度:排序器对单语句删除候选进行排序,执行套件接受第一个通过的候选,以及预算限制可以测试的候选数量。我们的中心观察是候选顺序,而不是模型置信度,是部署可以推理的控制面。 DELSCOUT 实例化两个计划。给定代表性目标域验证,五槽预算将三个槽用于确定性最短优先候选,两个用于补充学习候选;在具有 0.5B、0.6B 和 8B 排序器的 9 个 MBPP 复制中,这将验证删除覆盖率相对提高了 9.5%(+6.7 个接受的任务),同时消耗的验证程序调用比匹配的静态基线略少。如果没有这样的验证,相同的排名器可能会在转移时失去覆盖范围,因此我们首先评估完整的静态前缀,然后才添加学习到的候选者;对于确定性验证者来说,这使得覆盖率和字符减少不会因构造而减少,测得验证者调用增加了 4.8-62.5%。然后,MBPP+ 消除了域内优势,表明调度控制搜索,而测试套件单独控制“保留行为”的含义。结果是可审计的劳动分工:模型扩大了可移动代码的搜索范围,顺序限制了排名错误的提案可能造成的损害,并且执行保留了对每个已提交删除的权限。