论文

IdioLink:通过惯用语和文字表达检索超越文字的含义

IdioLink: Retrieving Meaning Beyond Words Across Idiomatic and Literal Expressions

模型评测基准与评测资源

摘要

习语对语言模型提出了根本性的挑战,因为它们的含义不能仅从表面形式推断出来。因此,理解此类表达需要超越词汇重叠的语义抽象。我们引入了 IdioLink,这是一个检索基准,旨在测试模型是否可以将惯用表达与以字面或释义形式表达的概念上等效的含义联系起来。 IdioLink 包含 10,700 个文档和 2,140 个查询,涵盖 107 个具有字面和比喻用途的习语。每个文档和查询都用传达核心含义的跨度进行注释。通过评估强嵌入基线(例如 BGE、E5、Contriever 和 Qwen),我们发现当前模型很难在不同的表面实现中检索相同的含义,而是依赖于主题和浅层语义线索。 IdioLink 揭示了习语感知语义检索中的关键差距,并为未来模型提供了一个具有挑战性的测试平台。