统一科学传播：跨科学媒体的细粒度通信

科学知识的交流已变得越来越多模式，通过研究论文、幻灯片和录制的演示文稿等材料跨越文本、视觉和语音。这些不同的表述共同传达了研究的推理、结果和见解，提供了丰富理解的补充视角。然而，尽管它们有共同的目的，但这些材料很少以结构化的方式连接起来。跨格式缺乏明确的链接使得很难追踪概念、视觉效果和解释的对应关系，从而限制了研究内容的统一探索和分析。为了解决这一差距，我们引入了多模态会议数据集（MCD），这是第一个集成了同一作品中的研究论文、演示视频、解释视频和幻灯片的基准。我们评估了一系列基于嵌入和视觉语言的模型，以评估它们发现细粒度跨格式对应的能力，从而为该任务建立第一个系统基准。我们的结果表明，视觉语言模型很强大，但难以进行细粒度对齐，而基于嵌入的模型可以很好地捕获文本视觉对应关系，但方程和符号内容在嵌入空间中形成不同的簇。这些发现强调了当前方法的优点和局限性，并指出了多模式科学理解未来研究的关键方向。为了确保可重复性，我们在 https://github.com/meghamariamkm2002/MCD 上发布了 MCD 资源