掩码训练下用于词级时间戳的相对时间间隔表示

尽管语音大语言模型（SpeechLLM）在语音理解与生成方面表现出色，其产出细粒度、时间对齐输出的能力仍未被充分探索。我们的工作填补这一空白，使SpeechLLM能够联合建模语音内容与时间结构，有效地将其从“内容理解机器”转变为“时间感知的内容理解机器”。具体而言，我们用相对时间戳取代传统绝对时间戳，获得更紧凑的词表和更强的泛化能力。为高效地为预训练大语言模型注入时间戳预测能力，我们引入一种混合微调策略：对时间戳增强的嵌入层和语言模型头进行全参数微调，同时结合解码器层的LoRA微调。此外，我们设计了掩码时间戳训练目标，防止模型过度依赖真实时间戳，从而增强对现实世界噪声标注的鲁棒性。大量实验表明，我们的方法在时间戳预测准确率上取得显著提升，同时保持强大的语音转写性能。