StreamMUSE：面向实时音乐伴奏的帧同步语言模型推理

实时部署不仅要求语言模型生成得快，同步翻译、语音合成等应用还要求内容与时序都对齐外部信号。研究将这一问题称为帧同步流式推理，提出StreamMUSE：客户端依据最新输入连续发送高频请求，接收与外部时钟同步的输出，服务器执行推理。现场音乐伴奏实验展示了不同部署环境与往返延迟下的实时同步。研究进一步建模系统超参数与往返延迟的关系，评估环境对最佳实时配置的影响。实验显示实时性能与音乐质量存在一致对应。项目已开源，代码与更新：https://stream-muse-webpage.vercel.app/#audio-library。