R-DEIM Net：一种用于释义检测的高效基本原理增强双专家交互模型

释义检测的最新进展揭示了一个基本的权衡：大型语言模型实现了高精度，但需要高计算量，而高效的 Siamese-BERT 变体提供了实用的可扩展性，但原理生成的透明度降低了。我们提出了 R-DEIM Net，这是一个 76M 参数的双专家架构，探索中等规模的模型是否可以在释义检测方面实现有竞争力的准确性，同时实现人类可读的基本原理生成。该架构结合了两个专门的组件：一个交互专家，通过多尺度 2D 卷积和允许可变输入长度的注意力头捕获词元级相似模式；以及一个推理专家，使用 Flan-T5-small 解码器生成基本原理作为辅助监督。我们不是重新编码生成的文本，而是提取并池化解码器隐藏状态作为分类的补充特征。在 Quora 问题对数据集上，R-DEIM Net 通过 10 倍交叉验证实现了 90.07% 的准确率和 90.16% 的 F1 分数。这代表了具有强大的基于 Transformer 的基线（例如 MFAE BERT：90.54% 准确度）和最近的基于大型语言模型的方法 (LLaMA-70B) 的竞争性能，同时使用了小得多的参数预算。该模型在预测的同时生成基本原理，为人类可读的辅助描述提供了潜力。