技能什么时候会增加价值？选择性技能使用的任务条件增益预测

摘要

Agent技能有望提高任务绩效。然而我们发现它们通常没有任何好处，甚至会损害性能，同时产生额外的词元成本。我们能否在智能体行动之前预测某项技能是否有帮助？我们引入了 SkillDelta，这是一个框架，用于预测具有和不具有技能的同一Agent的配对执行中的任务条件技能增益。本地预测器将这些历史收益转移到新任务，而无需重新训练Agent。在显式转移假设下，我们的分析将支持覆盖范围、表示不匹配和执行噪声与预测错误和决策后悔联系起来。在五个基准和三个目标Agent中，配对历史在 15 个设置中的 12 个设置中比单独的技能辅助结果提高了观察到的增益排名。在匹配的预期技能使用率下，SkillDelta 提高了所有 15 种设置中随机激活的成功率，平均绝对增益为 4.3%。这种优势大部分来自于跨任务组的分配。 ToolQA 上额外的组内选择价值的证据最强，而其他地方则较弱。代码可在 https://github.com/TankTechnology/skilldelta. 获取

技能什么时候会增加价值？选择性技能使用的任务条件增益预测：图1：SkillDelta在执行前预测技能增益。配对结果提供观测增益，通过相邻任务嵌入迁移以预测新任务的增益；对预测值设阈值，决定是否使用技能。仅对任务文本编码，几何结构为示意。 — 图1：SkillDelta在执行前预测技能增益。配对结果提供观测增益，通过相邻任务嵌入迁移以预测新任务的增益；对预测值设阈值，决定是否使用技能。仅对任务文本编码，几何结构为示意。