迈向可泛化的、以视觉为依据的家用设备探索

视觉语言模型 (VLM) 的最新进展在静态视觉识别和高级语义推理方面展现了令人印象深刻的能力。然而，当前的具体探索范式仍然严重依赖于人类注释轨迹的模仿学习，这严重限制了智能体的泛化能力。实现通用自主实体的关键瓶颈在于可推广的视觉探索：通过主动将抽象的世界知识融入细粒度的视觉可供性，无需手册或特定训练即可操作新颖设备的能力。然而，现有的基准测试未能评估这种能力：它们通常依赖于明确的文档和带注释的轨迹，忽略了功能设备操作所必需的动态假设-交互-细化过程。为了弥补这一差距，我们引入了 VGEBench，这是一个综合基准测试，旨在评估 VLM 的通用视觉探索能力。与静态数据集不同，我们构建了逻辑驱动状态机框架。该框架模拟多轮交互循环，迫使智能体通过主动视觉感知和反馈驱动的校正来实现目标。实验结果表明，现有的 VLM 在将语义知识转化为物理执行和维持长期状态跟踪方面面临着重大挑战。