论文

PointQ-Bench:基准诊断和可解释的点云质量评估

PointQ-Bench: Benchmarking Diagnostic and Interpretable Point Cloud Quality Assessment

模型评测基准与评测资源

摘要

点云质量在 3D 采集、重建、渲染和感知中起着至关重要的作用,但现有的点云质量评估 (PCQA) 研究仍然主要集中在标量分数预测上。在实际检查场景中,质量评估通常涉及识别缺陷、描述主要问题类型、评估下游可用性以及提供有证据支持的描述,而当前的基准并未明确评估这些内容。我们推出了 PointQ-Bench,这是一个基准测试,旨在将 PCQA 从标量评分扩展到全面的质量理解。 PointQ-Bench 由 3,083 个点云组成,涵盖真实扫描、模拟扭曲和人工智能生成的内容,涵盖八种主要问题类型。每个样本都注释有平均意见得分 (MOS)、质量级别、问题标签、基于专家的描述和 12,332 个问答对。该基准支持三种面向感知的任务:异常感知、缺陷诊断和可用性分级,以及开放式质量报告的面向认知的任务。为了评估自由形式的质量描述,我们进一步提出了 SSFRQ-5D,这是一种通过人类-人工智能协议分析验证的五维评估协议。对 14 种视觉语言模型和传统 PCQA 基线的广泛实验揭示了一致的感知诊断差距:虽然当前模型在粗略缺陷感知方面表现出新兴能力,但它们在基础诊断和质量校准方面遇到了困难。强大的 2D MLLM 通常优于现有的 3D VLM,并且附加视图或点级输入的好处是不均匀的,随着任务、数据源和模型的不同而变化,特别是在边界模糊的条件下。总体而言,PointQ-Bench 提供了一个诊断测试平台,用于推进可靠且可解释的点云质量理解。