通过分层程序理解改进主动人工智能协助
Improving Proactive AI Assistance with Hierarchical Procedural Understanding
摘要
主动式人工智能助手会持续观察用户的活动，并决定是提供新的指导还是保持沉默。他们应该为任务提供适当的指导，根据任务进度确定何时提供下一次指导，并根据用户的专业知识和需求调整指导级别。支持这些功能需要训练和评估数据，这些数据反映程序结构并捕获指导应如何适应任务进度和用户需求。然而，现有的数据集要么专注于基于检测的主动理解，要么以固定的粒度提供程序指导。固定粒度指导提供有关细粒度进度和更广泛的程序背景的有限信息，使得确定完成情况和调整指导粒度变得困难。为了解决这些限制，我们引入了 ProactiveCoach 套件，包括用于训练的 ProactiveCoach-Instruct、用于评估的 ProactiveCoachBench 以及带有自适应引导系统的微调VLM。 ProactiveCoach-Instruct 在阶段、步骤和行动级别提供分层结构的指导，用于学习任务进度和程序背景。 ProactiveCoachBench 评估模型是否在正确的时间跨不同的指导级别提供适当的指导，并在请求的级别发生变化时进行调整。我们在 ProactiveCoach-Instruct 上对微调预训练了VLM，并在骨干模型上展示了其有效性。与固定粒度监督相比，分层监督将骨干模型的整体性能提高了高达 9.6%p。我们通过将微调模型与轻量级制导路由器相结合，进一步构建了自适应制导系统。在没有额外的微调的情况下，我们的系统在四个指导级别转换中的性能比上下文适应基线高出 57.1%p。我们的项目页面位于 https://jinsuby.github.io/ProactiveCoach/.
