DLWM：用于高效多模态推理的多样化潜在世界模型

近年来，多模态 大语言模型 (MLLM) 的推理能力有了显着提高。现有的方法通常依赖于显式的思想链或连续的潜在空间轨迹来增强多步骤推理。然而，这些方法通常假设输入允许单个潜在解释，并沿着固定路径或在统一的计算预算下展开推理。在现实世界的多模态环境中，视觉观察通常会受到遮挡、模糊、视点变化或语义模糊的影响，从而产生多种看似合理的解释。统一的推理策略不仅限制了模型探索多个假设的能力，而且会导致较高的内存使用率和部署成本。我们提出了 DLWM（多样化潜在世界模型），这是一种将潜在空间推理与强化学习相结合的多模态推理框架。首先，我们在连续潜在空间中构建了一组不同的潜在世界假设，每个假设都捕获了对视觉输入的不同合理解释，并根据每个假设独立地展开潜在推理。基于正交性的多样性正则化器明确防止假设崩溃。其次，我们将潜在推理过程表述为资源受限的顺序决策问题，并引入资源感知强化学习策略，该策略可以跨假设自适应地分配计算，动态决定是否扩展、终止或合并推理路径，从而大幅减少内存占用并提高部署效率。对多个多模态推理基准的实验表明，DLWM 的准确率比现有方法高出 2-5 个百分点，同时内存使用量减少了 24%。