沙丘社区
论文

超越域：经可迁移交互模式复用网页技能

Beyond Domains: Reusing Web Skills via Transferable Interaction Patterns

Shiqi He; Yue Cui; Feijie Wu; Xinyu Ma; Jiaheng Lu; Yaliang Li; Bolin Ding; Mosharaf Chowdhury
智能体系统Agent 工具调用Agent Skills

摘要

大语言模型（LLM）网页智能体通常部署为工具调用者：每轮模型读取新鲜页面观察并发出一个结构化工具动作。当每个动作都是低层原语时——视界快速增长——面向策略的LLM补全也随之增长——在Mind2Web与WebArena等基准上主导延迟与成本。因此近期系统把重复交互片段包装为网页技能：从成功轨迹或归纳程序构建的可调用工具——一次调用可替代多个原语。但既有技能库仍主要由指令相似性或粗粒度站点元数据触发——导致留出站点上技能复用率低——使大量潜在的步骤与token削减未被实现。我们提出SkillMigrator——通过匹配布局结构而非特定元素引用——学习可复用网页技能并跨站点迁移的智能体。每个归纳技能存储为可迁移交互模式（TIP）：技能配以归纳时快照的结构草图。测试时——SkillMigrator按布局相似度检索TIP——并把其引用锚定到活页面上。栈的其余部分是标准的：带稳定引用的无障碍快照观察——以及原语加技能调用的固定工具调用。与SOTA方法相比——SkillMigrator在等成功率下把WebArena与Mind2Web上成功轨迹的平均LLM动作数减少8-10%。

超越域：经可迁移交互模式复用网页技能：论文配图
图 1：跨域技能重用激发了 SkillMigrator。来自不同领域的三个网站——Shopify（电子商务）、GitLab（开发人员工具）和 Postmill（在线论坛）——使用不同的页面布局、字段词汇和提交按钮标签。然而，这三个子任务简化为相同的编程模式：填写一些带标签的输入，然后单击一个提交按钮。相同颜色的字段（类似标题、类似正文、提交）是所有三个站点中相同抽象槽的释义。 SkillMigrator 存储一个 TIP（意图 ι\iota、操作模板 σ\sigma、槽模式 Φ\Phi 和归纳时间树骨架 τ\tau），并在所有三个页面上重复使用它，用单个技能调用替换许多策略 LLM 步骤。