从模态到命题：以语言为中心的多模态智能框架

我们提出了一种多模态数据的语言表示，其中任何观察，无论是图像、视频还是文本，都被表示为一包原子命题、关于场景中的实体、动作和关系的简单陈述。全局语义密码本将这些统一为规范原子命题的共享词汇表，将每一种模态和观察放入一个可解释的空间中，该空间涵盖细粒度的事实到高级概念，并组合成更丰富的概念。这带来了推理的可解释性、跨模态理解和检索以及可实现复杂多模态理解、丰富数据管理和复杂结构化检索的组合性。我们展示了自动驾驶和开放世界数据的框架。