论文

看到这座城市还是认识这个地方?除了 VLM 城市传感中的现有城市数据之外,街景图像还添加了哪些内容

Seeing the City or Recognizing the Place? What Street-View Imagery Adds Beyond Existing Urban Data in VLM Urban Sensing

模型评测鲁棒性、公平性与可信度评测

摘要

街景图像越来越多地用于推断城市属性,但仅预测准确性并不能揭示一张照片除了同一地点现有数据之外的贡献有多大。我们将基于图像的预测与来自五个公共资源和三个 VLM 的七个属性的现有城市数据进行比较。使用图像、任务上下文、附近观察和公共记录来评估相同的城市单元,同时图像替换和冲突记录测试源依赖性。现有的城市数据与道路损坏、路边坡道和房价的纯图像模型相匹配或超过,而邻近的官方统计数据几乎与人口的最佳图像结果相匹配。图像对于建筑类型、建筑功能和低层楼层数提供了更多信息。对于楼层数,到最近标记建筑物的距离每增加一倍,图像优势就会增加 5.7 个百分点,而对于屋顶线经常落在框架之外的高层建筑,图像优势会下降。模型经常遵循相互矛盾的记录。 OpenFACADES 楼层注释是使用 OpenStreetMap 楼层值生成的,并显示与仅图像重新运行相反的高度相关错误模式。因此,街景图像的价值取决于视觉清晰度和本地数据覆盖范围。将图像与现有城市数据进行比较可以指导图像收集并澄清派生城市地图的出处。