论文

不可逆转的火灾损坏后的对象理解的特征恢复

Feature Recovery for Object Understanding After Irreversible Fire Damage

模型训练监督微调与指令调优

摘要

火灾后环境中的物体通常会经历不可逆的物理变化,从而改变其几何形状、材料状态和视觉外观。检测和识别这些残留物对于定位危险、重建事故前内容和盘点损失至关重要。与标准图像损坏不同,这些退化会影响对象本身的物理结构。为了研究这种设置,我们引入了 TRACE,这是一种用于火后对象理解的转换感知基准。 TRACE 包含 21.4K 基于真实图像的合成场景和配对的对象级原始到退化的进程,涵盖 189 个类别的 499 个对象标识。我们定义了五个针对定位和降级前理解的任务:降级对象检测、原始状态恢复和检索、原始材料恢复、原始描述生成和功能推理。现有模型随着严重程度的增加而急剧退化。从最严重到最严重的水平,RF-DETR mAP 相对下降了 71%,而 InternVL3.5 检索 R@1 从 93.85 下降到 28.11。为了解决这个问题,我们提出了特征恢复模块(FRM),这是一个即插即用的模块,可以将降级的编码器特征映射到原始对齐的表示,同时保持主机冻结。仅通过配对特征监督进行训练,FRM 改进了场景级检测、CLIP/SigLIP2 特征恢复以及所有四个对象级 VLM 任务,在更严重的退化下具有更大的增益。在 VLM 主机和严重性级别上,检索的相对增益平均为 12.5%,材料回收的相对增益平均为 20.1%,描述生成的相对增益平均为 13.2%,功能推理的相对增益平均为 12.4%。