论文

CAMMAR:具有文化意识的俄罗斯套娃,用于隐喻的阿拉伯语表达

CAMMAR: Culture-Aware Matryoshka for Metaphorical Arabic Representations

模型训练监督微调与指令调优

摘要

阿拉伯语中的隐喻是一种基于文化的机制,用于构建意义、编码形成解释的文化知识。然而,当前的阿拉伯语言模型通常将词汇、文化和隐喻信息折叠到一个单一的表征空间中,我们将这种现象称为“语义涂抹”。我们引入了 CAMMAR(用于隐喻阿拉伯表示的文化感知俄罗斯套娃),这是一种表示学习框架,可通过分阶段的语义课程将含义组织到嵌套的词汇、文化和隐喻嵌入子空间中。该设计实现了 Al-Jurjani 的 nazum 理论的构成原则,将比喻意义建模为基于先验语义关系的构成,并根据词汇和隐喻表示之间的距离产生隐喻性的 无需训练 几何度量。在新的跨度注释的阿拉伯隐喻集上进行评估,设置为单词匹配的比喻/文字对,当层间几何形状由配对监督形成时,几何读数检测到的隐喻远高于机会(AUC高达0.84;比喻在82.6%的对中超过了同一个单词的文字对应物),但在单独的无监督域对比下,在监督下的清晰政权和一种非紧急的。受控消融表明,将词汇层置于形态根中会产生小但一致的增益,这是直接探测所没有的效果,反映了该层作为测量锚点的质量。我们将在接受后发布数据集、文化概念清单和代码。