链接之前三思：多语言实体链接中的稀有性、推理和检索

将文本和图像中提及的地面实体链接到知识库条目的多模态实体。这些系统在稀有实体上性能会下降，但之前的工作主要通过基于流行度的指标（例如页面浏览量）来衡量稀有性。我们使用知识图结构指标来拓宽这一观点，这些指标可以捕获实体的记录和连接程度。这些指标识别出流行度指标遗漏的许多罕见实体。在生成的稀有实体切片中，最先进的准确度下降了 15.4-39.9%，这表明不同的稀有度定义会暴露不同的故障模式。为了解决这些失败，我们引入了一个简单的 无需训练 框架，其中具有推理能力的视觉语言模型在维基百科上迭代搜索和推理，动态收集证据。对照实验表明推理和检索是互补的。单独推理并不能显着提高稀有实体的准确性。不带推理的检索可以提高稀有实体的准确性，但可能会损害整体准确性。他们的组合表现最好。 MERLIN 是一个连接五种语言（印地语、印度尼西亚语、日语、泰米尔语、越南语）基准的多语言多模式实体，我们最好的系统总体上比最先进的系统提高了 6.9%，在稀有实体切片上提高了 23.3%。我们使用我们的框架发布了 MERLIN-Rare，用于有针对性的评估的稀有实体测试切片。