论文
DigitalCoach：人类和代理计算机使用辅导中的沟通和视觉依据差距
DigitalCoach: Communication and Grounding Gaps in Human and Agentic Computer Use Coaching
摘要
代理自动化软件任务的能力越来越强，但它们能教人类如何自己使用软件吗？我们引入了 DigitalCoach，这是一个包含 72 次人类专家-新手计算机使用辅导课程的多模式数据集，其中包含 22,752 个对话回合，这些对话基于 5 个软件应用程序的 28.1 小时屏幕和输入事件记录。我们使用 DigitalCoach 来评估最先进的模型是否可以教人类如何使用计算机。自动评估表明，模型在指导方式上与人类不同：模型提供更直接的指令，但解释、错误诊断和知识检查问题更少。当我们修正指导方法时，模型会产生类似于人类参考的话语，但缺乏视觉上下文依据。互动评估证实，模范教练会导致学习者被动地遵循指示，而没有更深入的参与，并且缺乏视觉依据。 DigitalCoach 为协作和主动的计算机使用辅导代理奠定了基础。数据和代码可在 https://project-digital-coach.vercel.app 上获取。