ERIM以显式规则归纳监督和DAPO强化多模态上下文学习

多模态上下文学习（MICL）的一个核心挑战来自于缺少上下文时任务定义不明确，并且需要从演示中揭示基本规则。现有方法主要将 MICL 视为直接输入输出映射，忽视了对此类规则进行显式归纳和推理的重要性，从而限制了性能和可解释性。我们提出了 ERIM，即多模态上下文学习的显式规则归纳，这是一个统一的框架，通过显式地归纳支配示例样本的潜在规则来增强 MICL。 ERIM利用多模态大语言模型（MLLM）的推理能力，构建以规则为中心的MICL数据集，为规则归纳引入显式监督，并通过混合冷启动监督微调与强化学习相结合的两阶段训练策略微调MLLM以执行显式规则归纳。大量的实验表明，在不同的 MICL 设置中，性能得到了一致的提高，并证明了正确归纳底层规则可以直接带来更强、更稳定的性能。