论文

人类和人工智能生成语言的动态:语义如何在不同时间尺度上波动

The Dynamics of Human and AI-Generated Language: How Semantics Fluctuates across Different Timescales

模型评测模型行为与机制分析

摘要

口语,无论是人类产生的还是 大语言模型 (LLM) 产生的,都会随着时间的推移而呈现出不同的语义内容。然而,我们仍然缺乏简单、可解释的时间序列特征,这些特征可以捕获通用内容与特定内容随时间的分布情况,并可用于比较人类和人工智能生成的语音。我们引入了语义时间尺度分析管道,将带有时间戳的字级转录本转换为语义时间序列。对于每个口语叙述,我们使用基于 WordNet 的单词深度计算语义特异性,以及使用 SBERT 嵌入计算上下文相似性,并使用自相关窗口测量(ACW-0 和相关指标)量化其时间依赖性。然后,我们将原始语音与多个打乱的控制进行比较,这些控制选择性地破坏词汇同一性、时间顺序和单词持续时间。在人类阅读的自传体叙述、TTS 阅读和用 TTS 渲染的 LLM 生成的文本中,我们发现语义时间序列中具有较长 ACW-0 的片段往往包含更多通用词汇,而具有较短 ACW-0 的片段则富含更具体的单词。当词序和时间随机化时,这些关联会被强烈削弱或消除,这表明基于 ACW 的度量捕获了超出静态词汇分布的语义内容的重要时间组织。我们的结果表明,基于 ACW 的语义时间尺度是一个有用的特征系列,可用于分析和比较人类和人工智能生成的语音的时间结构。