论文

TeachAnything:在对称现实中训练具身AI智能体的多模态众包平台

TeachAnything: A Multimodal Crowdsourcing Platform for Training Embodied AI Agents in Symmetrical Reality

AI 基础设施数据基础设施

摘要

对称现实(SR)正在成为人机(智能体)共存的未来趋势,对智能体获得类人智能提出了更高要求。它呼唤更丰富、更多样的人类引导。我们提出一个整合多模态示范信号的三阶段示范范式。基于该范式,我们开发了TeachAnything,一个基于云、面向众包的示范平台,具备物理仿真能力,能够跨多样场景、任务和本体收集多样化的示范数据。通过方法论设计与物理仿真统一虚拟与物理交互,该系统成为开发与对称现实相适配的具身智能体的实用基础。

TeachAnything:在对称现实中训练具身AI智能体的多模态众包平台:论文配图
图 1:TeachAnything 概述。基于云的众包演示平台,让用户可以随时随地通过多模态演示进行教学。该平台支持丰富的虚拟场景中的预定义和用户定义的任务,并将异构输入转换为结构化数据以训练实体代理。