并非所有否定线索都是相同的：词缀否定可以带来更好的否定理解

对于语言模型（LM）和大型语言模型（LLM）来说，否定仍然是一个长期存在的挑战。之前的工作主要集中在一小部分高频单词否定线索，例如 not 和 never，对更广泛的否定类型和现代大语言模型的探索有限。为了解决这一差距，我们构建了 NegCue，这是一个包含超过 180 万个样本的大型数据集，涵盖单词、多词和词缀否定，具有 200 多个独特的线索。我们进一步在 NegCue 上预训练仅编码器的 LM 和 LLM，以研究不同的否定类型如何影响否定理解。对五个下游基准的实验表明，在相同的训练规模下，否定类型对性能提升的贡献不均匀。特别是，词缀否定产生了最大的改进，而通常研究的单词否定的收益仍然不大。此外，我们的结果表明，进一步的预训练可以提高 LM 和 LLM 的否定理解。