IdiomX 成语理解、检索和解释的多语言基准

惯用表达仍然是自然语言处理的一个持续挑战，因为它们的含义通常是非组合的、依赖于上下文的，并且难以跨语言对齐。现有的习语资源通常在规模、上下文多样性或多语言覆盖范围方面受到限制，限制了它们在现代语言模型中的实用性。我们推出了 IdiomX，这是一个用于习语理解、检索和解释的大规模多语言基准，它是通过结合词汇资源提取、大规模规范化、受控 大语言模型 丰富和结构化验证的可重复多级管道构建的。生成的数据集包含超过 190K 个上下文示例，涵盖 12K 多个习语，具有对齐的英语、阿拉伯语和法语语义表示、惯用语和文字用法标签以及丰富的语言元数据。在此资源的基础上，我们定义了一个统一的四任务基准，涵盖习语检测、上下文到习语检索、阿拉伯语到英语习语检索和习语解释，将评估从比喻识别扩展到语义基础和可解释的意义检索。实验表明，上下文 Transformer 模型极大地改善了习语检测，而混合检索和重新排序架构则显着增强了单语和跨语言习语检索。结果进一步表明，习语解释可以有效地建模为语义检索任务，引入可解释性作为补充基准维度。总体而言，IdiomX 为研究惯用语言提供了一个可扩展的基准，作为从检测到检索和语义解释的进展，并提供了可扩展到其他语言和比喻推理任务的模块化框架