GenUI-Harness:用数据驱动生成界面支持主动交互
When Interfaces Speak: Data-Aware Generative UI Harness for Active Interaction
摘要
如今,大多数人机交互仍然基于文本。自然语言会造成认知超载、歧义、信息混乱以及复杂任务的输入缓慢;短暂的生成式 UI 可以呈现结构化信息并指导用户完成任务。我们提出了 GenUI-Harness,这是一种多代理工具,将用于信息检索和任务执行的工具代理与用于识别歧义并为结构化接口生成前端代码的 GUI 编码器代理配对。使用强化学习来训练编码员具有挑战性:交互式 UI 生成的可验证奖励需要昂贵的执行成本,而LLM作为法官的奖励很容易受到奖励黑客攻击。我们使用 Dynamic UX 解决第一个挑战,这是一个在单个沙箱中进行动态交互和奖励收集的轻量级包,第二个挑战是使用 Reward Auditor,这是一种元奖励机制,用于监控奖励分配并将诊断模式提炼为共享的评分细则和评分规范。我们引入 UI-TAU Bench,这是通过生成的 UI 代码进行主动人机交互的基准, 构建在 10 个现实世界的域数据库之上,这些数据库是根据公共数据源构建的,并基于 Tau-Bench 工具使用设置,具有 Lite(300 个任务)和 Full(1,000 个任务)拆分。 GenUI-Harness 与 Lite 上的 smolagents 相比,平均 Pass@3 提高了 4.48 个百分点。使用 GenUI-Harness 进行训练将 4B 主干网的 Pass@3 从 9.33% 提高到 58.00%,优于 Claude Opus 5 (46.67%) 等较大的前沿模型。 GenUI-Harness 在模糊和非模糊查询方面也保持稳健。在比较沟通渠道的审稿人调查中,生成的 UI 将平均对话轮数从 3.4 减少到 1.2。这些结果表明,数据感知生成接口可以支持有效的任务完成并减少评估的数据库支持的工作流程中的对话轮次。