MistyPilot：通过多代理 LLM 技能编排实现社交机器人控制

根据自然语言指令对小型社交机器人进行编程需要的不仅仅是调用独立的 API。交互式任务将反应性物理行为与有状态的社交行为相结合，而现有的界面通常需要开发人员手动将 API 组合成技能、配置其参数、将传感器事件绑定到技能以及在运行时管理任务状态。我们推出了 MistyPilot，这是一个多代理 LLM 框架，它可以解释高级自然语言指令并在 Misty 社交机器人上编排相应的技能。任务路由器将每条指令分派给两个专用代理之一：用于传感器触发的机器人控制和直接技能调用的物理交互代理，以及用于面向对话的任务状态管理和上下文相关的多模式响应生成的社交交互代理。为了提高效率，社交交互代理在适用时重用先前生成的结果，否则调用完整生成。我们在五个组件级套件上评估 MistyPilot，在物理 Misty 机器人上执行传感器绑定和技能调用，并进行了 12 名参与者的初步用户研究。 MistyPilot 在路由、传感器技能绑定、任务状态解析、结果重用以及多达 100 项技能的技能扩展方面实现了高精度，并且与其他相同的单代理基线相比方差更低，同时参与者报告了对可用性和交互质量的积极看法。该代码将通过项目页面公开发布。