论文

重新审视情境学习时代否定的系统性

Revisiting the Systematicity in Negation in the Era of In-Context Learning

模型评测模型行为与机制分析

摘要

即使在 大语言模型 (LLM) 时代,理解否定句的含义仍然是语言模型面临的挑战之一。我们从两个角度分析LLM对否定的理解的系统性:行为系统性和表征系统性。对于行为系统性,我们通过演示和上下文学习确认,LLM可以在一定程度上识别句子内的否定表达和范围,但未能达到完美的表现。特别是,模型的否定范围识别的难度根据输出格式的不同而变化。为了表征系统性,我们分析了从上下文示例中稳健构建函数向量的程度,以完成对于理解否定至关重要的任务。实验表明,虽然可以为否定线索提取任务组合函数向量,但提取用于识别范围的函数向量更具挑战性。