MAP：面向真实场所的多模态无障碍规划基准

我们推出了 MAP，这是第一个评估多模态人工智能系统的基准，作为有无障碍需求的用户在计划访问现实世界中的地方时的助手。在我们的评估中，系统会收到验证或推荐满足可访问性要求的兴趣点的请求。 MAP 包含两项新颖的评估： 无障碍规划的声明验证评估有关地点和所述无障碍功能的信息是否受支持，并识别满足所请求的无障碍功能的地点。用于无障碍规划的视觉证据检索检查多模态人工智能系统是否可以为所请求的地点和无障碍功能选择视觉证据。我们的方法支持在位置信息和可访问性信息可以通过评估系统并在预定时间刷新地面实况数据随时间变化的环境中对人工智能系统进行比较。该基准基于对部分响应的自动评分和人工评分。