论文
PRISM:通过结构化多模态数据合成进行优先级感知的Rubric内化
PRISM: Priority-aware Rubric Internalization via Structured Multimodal Data Synthesis
摘要
现实世界的多模态指令通常将多个要求捆绑在一起,这些要求的重要性并不相同,但大多数多模态训练数据仍然减少了指令的遵循,以回答一个独立的问题。我们通过量规理解来研究这一差距,该模型不是根据量规进行测量的生成器,而是作为遵循量规的执行器:给定图像和类型化、优先化的量规,模型必须在产生总体判断之前验证每个规则。为了支持这种设置,我们提出了 PRISM,这是一个四阶段数据合成框架,可生成角色任务对、前缀引导规则集、质量过滤规则和结构化验证跟踪。我们进一步介绍 PRISM-Eval,其宽松和严格指标使用针对固定标签的确定性匹配,因此不需要推理时间判断模型。仅用 10K 合成样本,PRISM 将 Qwen3-VL-4B 在 PRISM-Eval 上的严格准确度从 9.5% 提高到 30.1%,同时保持一般基准的平均性能,并且收益转移到跨密集和 MoE 架构的四个额外开源 MLLM,这表明结构化红字监管是通向多规则、优先级感知多模式指令跟踪的可扩展路径。