视觉启动对视觉语言模型合作行为的影响

随着视觉语言模型（VLM）日益深入地集成到决策系统中，理解视觉输入如何影响其行为至关重要。本文以迭代囚徒困境（IPD）为测试场景，研究视觉启动对VLM合作行为的影响。我们考察接触描绘行为概念（善良/助人 vs. 攻击性/自私）的图像以及色彩编码的收益矩阵是否会改变VLM的决策模式。实验在多个最先进的VLM上开展。我们进一步探索缓解策略，包括提示修改、思维链（CoT）推理和视觉token削减。结果表明，VLM行为可同时受图像内容和颜色线索的影响，不同模型的易感性与缓解效果各不相同。这些发现不仅强调了在视觉丰富且安全攸关的环境中部署VLM时健全评估框架的重要性，也凸显了模型间架构与训练差异可能导致截然不同的行为反应——这一领域值得进一步研究。