Pro²Assist：面向长程程序性任务的持续步骤感知主动辅助

摘要

含多个有序步骤的程序性任务在日常生活中无处不在。多模态大语言模型（MLLM）的进展使支持日常活动的个人助理成为可能。但现有系统主要提供由用户查询触发的被动引导，或仅对孤立的短期事件提供有限的主动辅助，而非长程程序性任务。本文提出Pro²Assist：一个步骤感知的主动助手，持续跟踪细粒度任务进度并对用户演化状态推理，在任务全程提供及时辅助。Pro²Assist利用来自AR眼镜的多模态数据实现基于运动的感知，从多尺度时间动态与任务特定专家知识中抽取面向步骤的程序性上下文，基于感知输入与程序性上下文进行持续推理以推断用户需求，并在AR眼镜上显示及时辅助。我们用公开来源精选的数据集与在自建AR眼镜测试床采集的真实数据集评估Pro²Assist。大量评估显示，Pro²Assist在程序性动作理解准确率上超最强基线21%以上，主动时机准确率最高达基线2.29倍；20人用户研究中90%认为Pro²Assist有用，表明其对真实程序性辅助的有效性。

Pro²Assist：面向长程程序性任务的持续步骤感知主动辅助 — 图 1. Pro 2 {}^{\text{2}} Assist 的应用场景。 Pro 2 {}^{\text{2}} Assist 通过不断推理用户在任务工作流程中不断变化的状态（左）来提供持续、分步感知的主动帮助，而反应式程序助理则依赖于明确的用户请求，而一次性主动助理则为整个事件提供孤立的帮助（右）。