论文
Hospitality-VQA:面向视觉语言模型的决策导向信息量评估
Hospitality-VQA: Decision-Oriented Informativeness Evaluation for Vision-Language Models
摘要
近来视觉语言模型(VLM)的进展在通用领域展现出令人印象深刻的多模态理解能力。然而,其在酒店接待等面向决策领域的适用性在很大程度上尚未被探索。本工作研究VLM对酒店与设施图像进行视觉问答(VQA)的能力,这类图像是消费者决策的核心。许多现有VQA基准聚焦事实正确性,却很少捕捉用户真正觉得有用的信息。为解决此问题,我们首先提出信息量(Informativeness)这一形式化框架,量化一个图像-问题对能提供多少与酒店接待相关的信息。在该框架指导下,我们构建了新的酒店接待专用VQA数据集,涵盖各类设施类型,其中问题经专门设计以反映关键的用户信息需求。利用该基准,我们对多个最先进VLM开展实验,揭示出VLM并非天生具备决策意识——关键视觉信号仍未被充分利用,可靠的信息量推理仅在经过适度的领域特定微调后才出现。
