开源项目
vLLM TPU修正多设备视频生成的注意力与输出线程故障
Route Omni SDPA fallback and diffusion D2H streams correctly on TPU
概述
vLLM-Omni在TPU上调用默认SDPA回退路径时会触发不支持的设备分派;多设备扩散工作进程又把全局rank误作进程内设备编号,导致非零rank的异步输出线程退出。主线分别把回退路由至TpuSDPAImpl,并令输出流使用当前设备编号。 作者在TPU v7x四芯片切片上,以CFG并行2×Ulysses4运行LTX-2文本生成视频,分辨率704×1280、121帧、40步;两项修正共同使原来失败的流程完成,披露的热运行中位步时约0.77秒。这个数值没有可运行旧版的性能对照,应理解为可用性恢复。自定义skip_load_model路径的输出线程修补仍有安装时机缺口。