KnowVis：视频讲座的以知识为中心的视觉摘要

视频讲座是宝贵的教育资源，但其密集而冗长的形式往往让新手不知所措。这一困难源于根本的教学不匹配：虽然视频线性地传递瞬态信息，但人类学习需要构建互连的认知网络，这一任务会导致缺乏先验领域知识的新手学习者严重的认知超载。现有的视频摘要方法无法解决这种不匹配问题，因为它们主要产生大量文本的线性浓缩，而这仍然需要很高的认知努力。为了弥补这一差距，我们提出了 KnowVis，这是一个将线性视频讲座转变为基于教学的视觉叙事的框架。 KnowVis 首先从多模态视频内容中提取详细的概念图，以识别重要且具有挑战性的阈值概念，然后构建结构化知识单元，最后合成引人入胜的视觉摘要。除了该框架之外，我们还引入了一个包含 10 个学科的 125 个教育视频的精选数据集，以及 1,079 个生成的视觉摘要。广泛的自动化评估和人体研究表明，与最先进的基线相比，KnowVis 生成更准确、更清晰的视觉效果，可成功减少认知负荷并显着提高学生的学习效率和知识保留率。