DLGStream：动态语言嵌入的高斯泼溅，用于支持开放词汇的自由视点视频流

3D Gaussian Splatting~(3DGS) 已成为从多视图视频重建流式自由视点视频~(FVV) 的有前途的范例。然而，基于 3DGS 的 FVV 通常缺乏用户交互和编辑功能，这会削弱沉浸式体验。最近的研究通过 蒸馏 将 CLIP 的语言功能集成到 3DGS 中，从而实现开放词汇表查询并支持许多下游应用程序。然而，FVV、低帧大小和高FPS的严格要求使得当前语言高斯表示不适合语言嵌入的FVV。在本文中，我们提出了 DLGStream，一种新颖的嵌入语言的 FVV 表示形式，可将时变语言特征与高斯属性一起流式传输，以支持 4D 环境交互、场景编辑和空间智能。具体来说，我们提出了一种双不透明度动态语言高斯表示，它为颜色和语言特征维护两个不透明度属性，以应对颜色和特征联合优化时出现的性能下降。此外，我们引入了基于插值的变形场来减少时间冗余。该变形场还可用于 4D 帧插值，将 FVV 序列从低 FPS 提升到高 FPS。实验结果表明，DLGStream 在开放词汇分割和重建质量方面均取得了优异的性能，平均帧大小仅为 43 KB。该代码可在 \href{https://github.com/kkkzh/DLGStream}{https://github.com/kkkzh/DLGStream} 上找到。