论文
语音中的实体绑定失败 LLM 推理：诊断和思想链干预
Entity Binding Failures in Speech LLM Reasoning: Diagnosis and Chain-of-Thought Intervention
摘要
语音 大语言模型 (SLLM) 在复杂推理方面的表现不如文本对应物。我们发现这种差距并不是一种统一的认知缺陷。通过评估两种架构不同的 SLLM，我们发现语音到文本 (S2T) 在空间、句法和事实任务上匹配或超过文本到文本 (T2T)。然而，在需要实体跟踪的逻辑任务中，S2T 的准确性会崩溃。我们将此诊断为实体绑定失败：连续语音特征在隐式推理过程中模糊了精确的实体-属性关联。为了验证这一诊断，我们引入了实体感知思想链（EA-CoT），这是一种轻量级的推理时间干预，迫使 SLLM 在推理之前枚举实体并将它们绑定到声明。 EA-CoT 弥补了这一差距，即使在口述姓名被误识别的情况下，准确率也提高了 24.4 个百分点。消融证实了收益源于明确的语义绑定，将差距重新定义为启发失败而不是缺失的能力。