论文
TASU2:可控CTC模拟支持语音大模型对齐与低资源适配
TASU2: Controllable CTC Simulation for Alignment and Low-Resource Adaptation of Speech LLMs
摘要
语音 LLM 后训练 越来越依赖于高效的跨模式对齐和强大的低资源适应,但收集大规模音频文本对的成本仍然很高。 TASU 等纯文本对齐方法通过模拟转写文本中的 CTC 后验来减轻这种负担,但它们对不确定性和错误率的控制有限,使得课程设计在很大程度上是启发式的。我们提出\textbf{TASU2},一个可控的CTC模拟框架,它模拟指定WER范围下的CTC后验分布,产生更好地匹配声学解码接口的文本衍生监督。这使得有原则的 后训练 课程能够在没有 TTS 的情况下平滑地改变监督难度。在多个源到目标适应设置中,TASU2 比 TASU 改进了域内和域外识别,并且始终优于强基线,包括纯文本 微调 和基于 TTS 的增强,同时减轻源域性能下降。