VisChronos：借助真实历史事件生成图像描述

本文旨在通过利用现实世界中的历史事件作为图像描述生成的知识来源，弥合视觉内容和自然语言理解之间的语义差距。我们提出了 VisChronos，这是一种新颖的框架，它利用 大语言模型 和密集的图像描述模型来从单个输入图像中识别和描述现实生活中的事件。我们的框架可以自动生成详细的上下文感知事件描述，提高生成的图像描述的描述质量和上下文相关性，以解决传统方法在捕获上下文叙述方面的局限性。此外，我们引入了一个新的数据集 EventCap (https://zenodo.org/records/14004909)，它是使用所提出的框架专门构建的，旨在增强模型识别和理解复杂事件的能力。用户研究证明了我们的解决方案在生成准确、连贯且以事件为中心的描述方面的功效，为未来以事件为中心的图像理解研究铺平了道路。