语境轨迹和增量语境位移：利用大语言模型来理解动态的、特定于话语的意义构建

基于 Transformer 的大语言模型 (LLM)（例如 RoBERTa）使用上下文词嵌入 (CWE) 来表示文本，该嵌入会根据周围的上下文更改与每个标记关联的嵌入。当连续的单词添加到句子中时，我们通过重复重新计算词元的 CWE 来构建词元明智的增量轨迹，从而生成上下文嵌入如何随着话语展开而演变的表示。我们使用花园路径句子作为具有特征的测试用例来评估这种方法。标记智能轨迹再现花园路径处理的已知特征，包括关键区域周围的破坏，并可靠地区分花园路径句子与匹配的消歧控制。我们引入了几个用于量化跨上下文增量的表征位移的指标，并表明轨迹信息可以高度预测句子类型。我们发现与歧义相关的信息不仅可以从句子级 CLS 表示中恢复，而且可以从普通词汇标记中恢复，这表明话语级信息分布在多个表示尺度上。在探索性分析中，我们在其他与歧义和误导相关的语言现象中发现了定性相似的轨迹结构。总之，这些结果建立了标记式增量轨迹，作为使用大语言模型研究特定于话语的意义构建的有前途的框架。