范围：边缘的实时自然语言相机代理

在机器人技术中部署语言驱动的代理需要进行反映现实世界任务需求的评估：具有可重现结果的自然语言指令。此类代理必须将语言模型连接到可调用的感知和控制工具，并使用延迟、准确性和错误模式等部署关键指标进行评估。我们推出了 SCOPE（用于感知和评估的模拟和相机操作），这是一种用于自然语言、开放词汇平移倾斜变焦 (PTZ) 相机控制和视觉场景理解的模块化代理，专为边缘部署而设计。 SCOPE 在基于 Blender 的模拟环境和物理 PTZ 摄像机上运行，​​使用边缘可访问计算在部署站点本地执行所有感知、规划和控制。我们在基于 Blender 的模拟环境中发布了一个 536 任务基准测试，涵盖 QA、单步和多步命令、计数、空间推理、描述和光学字符识别，展示了真实的 PTZ 控制功能。执行跟踪与 LM-as-Judge 相结合来评估延迟、准确性和错误模式。我们评估了 19 种规划器感知模型组合，将 Qwen3 小语言模型 (SLM) 与 Moondream 和 Qwen 视觉语言模型 (VLM) 配对。更强大的 SLM 可以显着减少幻觉并改善工具路由，从而实现更可靠的闭环行为。一旦使用了足够强大的 SLM，感知就会成为主要的性能瓶颈。规划和感知方面的混合专家模型在延迟和内存占用方面始终匹配或超过密集替代方案，与小得多的网络相当。量化提供了额外的效率增益，同时将精度降低降到最低，为实时、边缘可行的语言驱动的 PTZ 控制确定了实用的、模拟到真实验证的设计点。