论文
Hy-Embodied-VLM-1.0:高效的物理世界代理
Hy-Embodied-VLM-1.0: Efficient Physical-World Agents
摘要
构建有能力的具体代理不仅需要多模式感知和理解,还需要推理行为、适应不断变化的情况以及与物理世界交互的代理能力。在本报告中,我们介绍了 Hy-Embodied-VLM-1.0,这是一种高效且强大的实体化基础模型,专为在物理世界中运行的实体化代理而设计。为了从 预训练 阶段开始培养这种能力,我们定义了一个以行动为中心的能力分类法,包括三个渐进维度:行动相关状态理解、行动转换推理以及顺序和自适应推理。在此分类法的指导下,我们开发了系统的数据管道并管理涵盖 预训练 和 后训练 的数据混合物。为了提供强大的物理世界理解和交互能力,同时支持延迟敏感部署,我们在 Hy3-A3B 语言主干和 Hy-ViT2 视觉编码器上构建模型。其高效的 Mixture-of-Experts 架构将强大的模型能力与高推理效率结合在一起。我们根据涵盖具体感知、物理世界理解和具体推理的 38 个基准综合套件评估 Hy-Embodied-VLM-1.0。该模型在 38 项基准测试中的 19 项中取得了同类尺寸模型中最好的性能,并且大幅优于 Qwen3.6-A3B 和 Cosmos 3 等强大竞争对手。与上一代 Hy-Embodied-0.5 MoT-2B 相比,Hy-Embodied-VLM-1.0 平均性能提高了 8.4%。尽管仅激活 3B 参数,但其性能已接近上一代激活 32B 参数的型号。除了静态基准评估之外,Hy-Embodied-VLM-1.0 在需要多轮交互和长视野推理的具体代理任务上也表现出了强大的性能。