使用蒙特卡罗树搜索进行潜在视觉扩散推理

分析细粒度的技能活动（例如体育、手术）不仅需要识别视觉模式，还需要执行逐步的视觉推理以得出最终判断。尽管行动质量评估的最新进展在评估绩效方面取得了显着进展，但现有模型仍然是黑匣子，缺乏明确揭示其判断背后的推理过程的能力。为了解决这个限制，我们提出了潜在视觉扩散推理（LVDR），这是一种集成关键点引导的蒙特卡罗树搜索（MCTS）的新颖框架，以对潜在视觉推理过程进行建模和可视化。 LVDR 不仅可以产生更准确的技能评估，还可以揭示有助于最终评估的关键视觉推理序列。跨越不同运动和外科领域的四个数据集的广泛实验表明，LVDR 实现了有竞争力的定量性能，同时提供了可解释的视觉推理轨迹，从而导致最终预测。源代码和模型可以通过以下链接找到：https://github.com/XiruiTeng/LVDR_Official.git。