论文

评估特定于版本的插件迁移的代理技能:回顾性研究

Evaluating Agent Skills for Version-Specific Plugin Migration: A Retrospective Study

模型评测评测方法与指标

摘要

代理技能包为编码代理提供了版本特定的维护知识,但较高的诊断分数本身并不表明生成的迁移建议满足目标版本的合同。我们通过 16 个静态迁移任务的 64 份报告的存档来研究已发布的插件升级技能,每个条件进行两次尝试,并做出 328 个标准决策。使用该技能,平均记录奖励从 93.83 上升到 98.75,增加了 4.92 分(95% 任务引导区间 [0.31, 10.86]);收益集中在一项任务上,八个任务对已经达到上限。追踪其合同领域的每项决策并深入审查十份报告,可以发现有利于任何一方的评分错误;其中之一是,接受父目录的包含谓词仍然获得全部积分。可执行的探测器证实了这一缺陷,并表明工作拆卸修复仅被较窄的生命周期规则排除。替换经过审查的决策使估计值保持为正值(4.61 到 5.39 点),但将其区间移至零或跨过零。与来自其他两个模型家族的评委一起对所有 64 份报告进行重新评分,没有手臂标签或先前评分,91.8% 和 95.7% 的决定与原始评委一致(加权 $\kappa=0.64$ 和 $0.72$),并获得 10.63 和 6.09 分的收益。该研究提供了一种可追溯的评估,将总奖励与合同级证据和判断敏感性联系起来,以及对迁移建议的具体审查检查。可执行的端到端修复、独立的人工注释和其他框架留给未来的工作。