论文

EcoScratch:使用执行反馈对 Scratch 进行经济有效的多模式修复

EcoScratch: Cost-Effective Multimodal Repair for Scratch Using Execution Feedback

摘要

Scratch 是最受新手欢迎的编程环境,全球创建了超过 11.5 亿个项目。与传统语言不同,Scratch 中的正确性是由舞台上的可见行为定义的,而不是仅由代码结构定义的,因此在工作区中显示正确的程序在运行时仍然可能由于计时、事件排序或跨精灵交互而失败。因此,诸如游戏视频之类的视觉执行证据对于诊断和修复至关重要。然而,在自动修复循环中捕获和处理这些证据会带来巨大的开销。探测执行、记录阶段行为、重建可执行 .sb3 项目以及验证候选修复会在整个修复轨迹(而不是单个模型调用)中消耗时间、金钱成本和资源。我们推出了 EcoScratch,这是一个修复管道,它使用轻量级运行时信号来决定下一次尝试是保持纯文本还是升级为多模式提示。控制器还设置 JSON 补丁预算和验证工作,因此证据选择和修复预算在同一决策中耦合。 EcoScratch 将候选修复重建为可执行的 .sb3 项目,并记录每个轨迹的痕迹、货币成本、本地运行时能量。我们在四种控制器设置下评估了 100 个可执行划痕修复项目的 12 个模型,产生了 4800 个修复轨迹。在这个矩阵中,选择性多式联运政策给出了观察到的最强的成功-成本-能源权衡。在相同有界轨迹预算下,它达到了最高的生成成功率(30.3%),同时比两个非自适应多模态基线使用更少的平均成本和本地运行时能量;纯文本仍然是最低成本。在评估的矩阵中,多模态证据在用于控制有界轨迹预算内的升级而不是统一应用时最有帮助。