TRILOGUE：带有证据和配对音频的三语口语对话事实检查基准

现代错误信息经常在被阅读之前就被听到，但事实核查系统仍然主要根据干净的书面声明进行评估。即使系统在文字记录上运行，口语对话仍然不同：声明可能分布在发言者和回合中，取决于先前的上下文，并且当自动语音识别 (ASR) 错误扭曲可用文本时，验证变得更加困难。先前的口语对话事实检查资源规模较小，以英语为中心，或者侧重于注释而不是端到端基准测试，因此没有留下具有配对语音和回合级别标签的大型多语言基准。我们推出 TRILOGUE（三语口语对话事实检查），这是一个针对英语、俄语和哈萨克语来源的大型三语口语对话基准。它包含近 12K 对话、187K 回合和 390 小时的配对音频，以及所有三种语言的 ASR 转录和单词级时间戳对齐，其中包括近 5K 人工录制的俄语和哈萨克语对话文件。 TRILOGUE 支持声明检查价值检测、源文章证据检索以及仅声明、标准证据和检索证据输入的声明验证。基线显示，ASR 退化和跨语言转移仍然具有挑战性，特别是对于哈萨克语而言，而检索到的源证据大大缩小了与标准证据验证的差距。