Logbook：超长音频事件理解

音频基准是围绕简短的、预先分段的剪辑构建的，将模型设计限制为简短的输入或固定词汇。为了缩小这一差距，我们引入了 Logbook，这是一种小时级音频理解的基准，录音范围从十分钟到六天不等。给定连续的音频记录和事件标签词汇，系统必须预测具有事件标签和每个片段的描述的无间隙分割。我们比较了 52 个系统、端到端和级联，并消除了微调、上下文长度和推理预算。我们发现这项任务很容易处理，尽管最好的系统仍然低于人类参考值。此外，过度分割很普遍，而微调部分缓解了这种情况。最后，端到端通常比级联系统更好，但随着上下文的增加而性能下降。