通过自生成工具动作提升Android GUI Agent的能力与效率

使用结合了 GUI 操作和工具操作（例如，通过 API 访问应用程序数据）的混合操作空间的 Android 智能体在很大程度上仍未得到充分开发，这主要是由于创建工具需要付出过多的努力。为了解决这一差距，我们引入了 DroidTool，这是一个使用自生成工具增强智能体的框架，这些工具是作为在应用程序状态（例如数据库）上运行的 Python 函数实现的。为了以最少的人力创建工具，DroidTool 采用智能体工作流程，具有以下阶段：提案、实施、测试生成和执行以及修复。值得注意的是，在测试创建的工具进行验证时，它会跨相关工具构建关系测试，以自然地准备适当的测试前提条件并提高测试覆盖率，而不是单独测试每个工具。使用生成的工具增强的 GUI 智能体与仅 GUI 智能体相比，性能提高了约 4.47%p，交互次数减少了约 20.05%，在代表性基准中平均：AndroidWorld、B-MoCA 和 MobileSafetyBench。