论文
GS$^{2}$CI：通过大视觉模型先验进行快照压缩成像的鲁棒高斯泼溅
GS$^{2}$CI: Robust Gaussian Splatting For Snapshot Compressive Imaging via Large Vision Model Priors
摘要
快照压缩成像 (SCI) 通过将时间或空间信息压缩为单个 2D 测量，为高速视频采集以及曝光时间相机场景相对运动、多视图场景捕获提供了有效的解决方案。虽然最近的研究已经探索了 SCI 用于 3D 场景重建的方法，但由于信息丢失、有限的视点多样性以及联合优化 3D 表示和相机姿势的计算负担，现有方法面临着重大挑战。在这项工作中，我们提出了一种新颖的框架，通过利用 3D 高斯分布 (3DGS) 和大规模视觉基础模型 (VFM) 的强大先验，从单个 SCI 测量中重建高质量的 3D 场景。我们的主要重建结合了测量衍生的 3D VFM 初始化和 SCI 感知高斯优化。粗略阶段收敛后，辅助 2D VFM 在合成视点处提供伪视图监督，以实现局部外观细化。为了进一步解决 3DGS 优化过程中由不明确的 SCI 监督引起的不稳定问题，我们引入了不透明度引导的分割和增长调节（OSGR），这是一种特定于 SCI 的致密化策略，它使用局部不透明度统计来增强分割候选者，通过平均不透明度调节来阻止损失补偿不透明度膨胀，并通过明确的候选者比率和高斯计数约束来限制表示增长。跨多个基准的广泛实验表明，我们的方法实现了最强的整体性能，将领先的重建质量和对视点变化的鲁棒性与具有竞争力的计算效率结合起来。