用于隐私保护机器人应用的仅深度开放词汇 3D 语义分割

隐私保护感知对于在现实室内环境中运行的机器人系统越来越重要，但在开放词汇 3D 语义分割中仍然没有得到充分探索。我们在特定场景视觉信息披露的 RGB 禁止部署设置下研究了这个问题，其中在场景采集和融合过程中无法获得真实的 RGB 观察结果。为了反映现有 3D 数据集上的部署约束，我们采用了更严格的仅深度评估协议，该协议在没有 RGB 的情况下重新运行场景融合，并仅将生成的深度派生几何图形暴露给分割管道。这种约束消除了对于开放词汇识别通常至关重要的外观线索，使得仅深度的预测更加不确定且更不可靠。为了应对这一挑战，我们提出了 UTTO，一种与模型无关的不确定性引导的测试时间优化框架，它使用结构化预测不确定性作为可靠性信号来改进来自冻结的开放词汇 3D 主干的预测。 ScanNet 和 Matterport3D 的实验证明了对多个纯深度主干网的一致改进。隐私可恢复性分析和真实机器人语义目标定位案例研究进一步支持所提出的隐私约束设置和适用性。