论文
ProcAgent：边缘端带人在回路的程序性任务引导智能体框架
ProcAgent: An Agentic Framework for Procedural Task Guidance on Edge with Human-in-the-Loop
摘要
家具组装和家居维修等程序性任务会带来相当大的认知负担，因为用户在执行物理操作的同时还必须理解说明、跟踪任务进度、推理空间状态并从错误中恢复。先前的多模态助手在程序性引导方面已展现出前景，但大多依赖云端推理和固定的常开感知，使其难以适用于隐私敏感、延迟关键的家居环境。我们提出ProcAgent，一个完全端侧运行的智能体式视觉程序性助手，可在单块NVIDIA Jetson AGX Orin上实现实时自适应引导。ProcAgent采用提议-验证架构，结合低延迟连续感知、符号化任务图、按需视觉-语言验证以及基于LLM的交互智能体。该系统持续提议用户进度，仅当出现歧义或疑似偏离时才调用昂贵的视觉推理，并支持反应式问答与经人在回路确认的主动干预。我们沿感知精度、推理、任务级性能和用户体验四个维度评估ProcAgent。尽管完全在端侧运行，该系统仍保持响应式交互：纯文本查询约2秒内解决，视觉定位查询约8秒内解决。在10名参与者完成组装任务的用户研究中，ProcAgent在可理解性、可操作性和隐私舒适度方面获得积极评价。这些结果表明，自适应程序性辅助可以完全在边缘硬件上实现而不牺牲可用性。
