论文
评估多模态中的随机崩溃和隐式偏差 大语言模型
Evaluating Stochastic Collapse and Implicit Bias in Multimodal Large Language Models
摘要
目前对多模态 大语言模型 (MLLM) 的评估绝大多数集中在效用驱动的目标上，而逻辑中性场景下的模型行为很大程度上尚未得到充分探索。在多个操作同样有效的场景中，随机性至关重要，例如推荐多个选项具有相似效用的旅行行程或日程安排。在这种情况下，确定性策略可能会导致重复行为并减少有效替代方案的覆盖范围。为了弥补这一差距，我们提出了 RandomBench，这是一个旨在评估 MLLM 在选择等效选项时是否能够保持分布中性行为的基准。我们进一步引入了三个指标，包括 RI、BCI、BII，来量化熵和分布偏差。实验揭示了一种称为随机崩溃的普遍现象，其中 MLLM 无法在明确的随机指令下保持均匀的随机性，在 Claude Sonnet 4.6 中，top-1 概率从理想的四分之一基线达到 97%，RI 下降到 0.068。广泛的消融研究进一步表明，这些偏差在语言和表示格式中持续存在，突出了逻辑中性决策设置中分布崩溃的稳健性。