乌克兰语视觉词义消歧基准

本研究提出了评估乌克兰语视觉词义消歧（Visual-WSD）任务的基准。 Visual-WSD 任务的主要目标是利用最少的上下文信息，从一组十张图像中识别出给定歧义词的最合适表示。为了构建这个基准，我们遵循了与 (CITATION) 提出的方法类似的方法，该方法之前介绍了英语、意大利语和波斯语 Visual-WSD 任务的基准。这种方法使我们能够将乌克兰基准纳入更广泛的跨语言模型性能比较框架中。我们半自动收集基准数据，并根据领域专家的输入对其进行完善。然后，我们使用此基准评估了八个多语言和多模式 大语言模型。所有测试模型的表现都比 (CITATION) 用于英语 Visual-WSD 任务的基于零样本 CLIP 的基线模型 (CITATION) 差。我们的分析表明，乌克兰语和英语在 Visual-WSD 任务中存在显着的性能差距。