Demo2Tutorial：从人类经验到多模式软件教程

数字环境中的人类经验提供了巨大的、未经充分开发的真实、未经修饰的交互资源，其中包含丰富的程序知识。我们引入了 Demo2Tutorial，这是一个框架，它将通过屏幕录制和交互日志捕获的体验转换为结构化的多模式软件教程，用于教授人类和代理。 Demo2Tutorial 首先通过专用记录器收集人类经验，然后使用多模式动作解析器解析原始经验，以重建感知、动作和意图。然后，步骤规划器将这些步骤抽象为表示目标和步骤的分层任务图。最后，教程编写器将解析的经验转换为结构化的、可重用的图像文本指令。我们根据源自官方软件文档的新基准来评估教程生成质量。我们进一步证明，这种精炼的表示有利于（i）通过自动生成多模式教程来进行人类学习，以及（ii）通过改进下游 GUI智能体 规划和泛化来进行代理学习。实验表明，Demo2Tutorial 生成的高质量教程超越了人类编写的教程，并且显着优于基线方法，同时能够更快地完成人工任务并改进 GUI智能体 规划，这表明从人类经验中提取的结构化教程可以作为有效的知识表示，以提高人类学习和代理能力。代码和数据可在 https://github.com/showlab/Demo2Tutorial 获取。