EventCoT：用于推理时间本地化的以事件为中心的视频思想链

推理时间定位 (RTL) 需要一个模型来生成一个答案，该答案本身包含支持它的时间间隔，将高级推理与单个响应中的时间定位结合起来。为了应对这一挑战，我们提出了第一个以事件为中心的视频思想链框架，称为 EventCoT。 EventCoT 首先执行以事件为中心的标记化，将视频转换为紧凑的事件标记，从而能够有效识别与问题相关的事件。然后，它在这些事件中进行推理以生成答案，通过将占位符标记与视觉嵌入对齐的嵌入匹配来确定时间间隔。 EventCoT 在 ActivityNet-RTL 上取得了最先进的结果，同时使用比以前的工作少得多的视觉标记，并在含时间定位的视频问答基准 ReXTime 上获得了强大的零样本结果。我们的代码将出于研究目的发布。