论文
3DGSI-Assessor:大规模数据集和基于 LMM 的 3D 高斯泼溅图像质量评估方法
3DGSI-Assessor: A Large-Scale Dataset and An LMM-based Method for 3D Gaussian Splatting Image Quality Assessment
摘要
3D 高斯分布 (3DGS) 已成为实时新颖视图合成 (NVS) 的主要表示形式,但其存储占用空间使得压缩对于实际部署不可或缺。 3DGS 训练和压缩引入了特定于表示的失真,例如浮动伪影和表面散射,而传统的图像质量评估 (IQA) 指标无法捕获这些失真。此外,几何和颜色属性的独立压缩可能会导致解耦的特定于维度的扭曲,必须单独诊断,但现有指标仅报告单个总体分数。为了解决这些差距,我们提出了 3DGS-IEval-15K+,这是一个用于压缩 3DGS 的大规模、多维 IQA 数据集,包含来自 10 个不同场景的 15,200 张图像,由 6 个代表性 3DGS 算法以系统设计的压缩级别生成,并从跨越训练视图和具有挑战性的新颖视图的 20 个战略选择的视点进行渲染,并在整体、几何和颜色方面使用 45,600 个平均意见得分 (MOS) 进行注释质量。基于 3DGS-IEval-15K+,我们提出了 3DGSI-Assessor,这是一种一体化 3DGS IQA 框架,它将全局语义和特定于维度的局部特征集成到大型多模态模型 (LMM) 中,在一次前向传递中预测所有三个维度。 3DGSI-Assessor 在 3DGS-IEval-15K+ 上实现了最先进的性能,并在其他 NVS 基准测试中展现出有竞争力的泛化能力。数据集和代码将在https://github.com/YukeXing/3DGSI-Assessor发布。