论文

自然语言推理的语义抽象:用于发现和补偿大型语言模型中的语义知识和推理差距的方法框架

Semantic Abstraction for Natural Language Inference: a Methodological Framework for Discovering and Compensating Semantic Knowledge and Reasoning Gaps in Large Language Models

模型推理推理策略与问题分解

摘要

尽管大语言模型在许多 NLP 任务上表现出色,但它们仍面临着与语义抽象相关的严峻挑战。在这项研究中,我们有兴趣了解大语言模型如何在自然语言推理(NLI)中利用抽象语义知识,这需要复杂的语言能力来解释隐含含义、上下文概念关系以及单词和短语之间的语义连接。为此,我们提出了一种在更高抽象层次上构建新语义知识的方法框架,我们在 NLI 语义兼容性和不兼容性的概念下定义了该框架。在此框架中,前提和假设之间的词汇语义关系的含义被重新配置,以实现更灵活的语义网络,从而在大语言模型中引入不同的推理路径。这些新途径显示出一致的响应模式,允许就单一响应达成一致。结果表明,我们的建议可以发现并弥补 NLI 中大语言模型的语义知识差距,实现准确率的显着提高,对于某些模型,特别是非蕴涵类,准确率超过 10%。值得注意的是,大语言模型需要结构化知识,而不仅仅是更多数据来弥补推理差距。我们的混合方法将注意力集中在被忽视的单词关系上,允许模型合成缺失的信息。我们相信,未来不在于增加模型大小,而在于创建模仿人类思维灵活性的语义支架。希望我们的提案能够开发出更强大的代理和可解释的推理,引导人工智能实现可靠的语言理解。