时间反转成像：重建过去人类与环境相互作用的多模态基准和框架

我们引入了时间反转成像，这是一种新的范式，可以从褪色的多模态痕迹推断场景中刚刚发生的事情。我们的目标不是外推或内插视频帧，而是从热光谱、紫外光谱和可见光谱中可观察到的残留物理印记来推断过去的人类与环境的相互作用。为了研究这个问题，我们提出了 TRACE-HEI，这是第一个时间反转成像的概念验证数据集，包含同步的三模态视频序列，包括坐着、触摸、移动物体和液体溢出等动作，这些视频序列在不同的材料上捕获，并在接触后最多记录三分钟。为了建立基准，我们提出了一种多模态推理方法，该方法提取检测到的痕迹的结构化文本描述，并使用它们来约束视觉语言引导的扩散模型，以重建可信的过去帧。实验表明，从褪色痕迹推断最近发生的事件具有挑战性，但当互补模式减少解决方案的模糊性时，这是可行的。这项工作为时间反转成像、桥接视觉、物理学和生成推理定义了第一个计算和实验基础，并为超越瞬时观察的场景理解开辟了新的方向。