多模态语言模型中的校准歧义：人类寻求文化参考，而模型描述图片

歧义通常被视为人工智能系统需要解决的错误——但在人类交流和文化中，歧义也可以成为一种生成资源。从幽默到政治再到艺术，人们用文字和图像来表达自己，这些文字和图像足够开放，可以产生不同的解释，但又足够有限，可以解释。我们通过从客厅游戏 Dixit 中提取的任务来操作这种校准模糊性的概念。我们基于一种用于校准歧义的新颖编码规则，比较了人类与多模态语言模型生成的线索的差异，并发现模型始终表现出歧义崩溃（即，它们的输出被过度指定，没有留下多种合法解释的空间）。与人类线索不同，人工智能生成的线索也表现出文化扁平化。他们几乎从不提及文化背景知识，即使是在被提示使用典故和比喻语言时也是如此。