MetaEncoder：利用自然语言接口探索双编码器在多模态系统一决策中的局限性

系统一模拟输出受限决策和概率分布，而不是自由格式的文本生成。虽然流行的范例依赖于结构化模式对象来编码状态、意图和候选选择，但我们重新审视完全基于自然语言的 System One 界面。在此框架中，用户请求和每个候选选项均以自然语言表达，并由多模式（图像和视频）辅助输入支持。我们引入了 MetaEncoder，它将预训练的 Muse-Glimmer 30B 解码器微调为指令跟踪决策编码器。为了在小型封闭集（< 256）和大规模开放集（数百万）候选空间中有效扩展，MetaEncoder 采用了通过单向对比学习训练的双编码器架构，以实现请求-候选对齐。我们对 11 个基准套件和 190 个任务进行了广泛的评估，涵盖多模态决策、理解（闭集）和检索（开放集），强调了 MetaEncoder 击败 SOTA 多模态编码器的地方，以及它当前的限制 推理稠密型任务。