PhysEditBench：使用图像编辑器进行密集物理地图预测的协议条件基准

通用图像编辑器可以从单个 RGB 图像预测物理贴图吗？通用图像编辑器与标准的特定于任务的密集预测模型不同：它们不直接拍摄图像并输出物理图。相反，他们必须以提示、示例或基于图像的文本提示为指导。为此，我们引入了 PhysEditBench，这是一种新颖的协议条件基准，用于评估和标准化密集物理贴图预测中的图像编辑器，涵盖五个目标：深度、法线、反照率、粗糙度和金属贴图。对于评估数据，我们构建了一个依赖于目标的基准基底。我们使用 OpenRooms-FF 来表示深度、表面法线、反照率和粗糙度，使用 InteriorVerse 作为深度、法线、反照率的附加源，以及新的程序生成的金属贴图源。我们通过质量检查、有效区域掩模、场景级采样和基于照明的压力子集来管理数据，以确保可靠且多样化的评估。对于每个目标，PhysEditBench 定义了一个固定协议，指定允许的输入、预期的输出格式和评分程序。因此，每个分数反映了模型在指定协议下的性能，而不是其在所有提示或交互模式下的最佳性能。实验结果表明，专用模型在深度、法线和反照率方面仍然更强，并且更强大的图像编辑器可以产生更合理的类似地图的输出。对于粗糙度和金属度，图像编辑器可以在某些标量指标上匹配或优于专门的基线，但它们仍然会受到结构错误、稀疏效应和对照明的敏感性的影响。