论文
DraDDP:多模态多方对话话语解析数据集
DraDDP: A Multimodal Multi-Party Dialogue Discourse Parsing Dataset
摘要
多方对话话语解析旨在识别对话中话语之间的依赖结构和关系类型。以往的研究大多局限于文本模态或两方对话,未能满足多模态、多方对话的场景。在本文中,我们基于美剧构建了第一个公开的英语多模态数据集 DraDDP,用于多方对话话语解析。 DraDDP包含495个对话片段、6374条话语和9.1小时的并行视频内容,涵盖丰富的多方交互场景。此外,我们通过在 DraDDP 上评估这项任务并对不同模式的影响进行深入分析来建立全面的基准。实验结果证明了多模态信息在捕获对话结构和关系类型方面的价值。我们将公开发布数据集、注释指南和代码,以促进多模态对话理解的未来研究。