论文

压缩转写可能削弱医学视频虚假信息检测

Effects of Transcript Compression on LLM-based Medical Misinformation Detection in Japanese YouTube Videos

模型评测上下文与知识上下文工程模型能力评测

摘要

大语言模型 (LLM) 越来越多地用于评估长篇医学视频,但其有效性可能取决于是否提供完整的转录本或通过摘要、检索或主张筛选压缩的转录本。本研究探讨了这种转录压缩如何影响基于 LLM 的日本医学 YouTube 视频的准确性分类。我们比较了四种转录本输入设计:完整转录本、LLM 生成的摘要、基于 RAPTOR 的检索增强生成 (RAG) 以及提取候选医疗和健康相关句子的筛选。我们使用 74 个标记为“真”或“假”的长视频,评估分类性能并使用 J-LIWC、模糊限定表达以及机构或技术术语分析语言变化。全转录基线实现了最佳性能,而所有压缩输入都会增加假阴性,这意味着假视频更有可能被错误分类为真实视频。摘要造成最大的性能下降,而筛选在压缩输入中表现最好,但仍然遗漏了许多医学相关的句子。语言分析表明,这些错误不能用简单的确定性增加来解释。相反,Summary 减少了情感、社交、时间、认知和对话线索,而 Summary 和 RAG 则使制度和技术术语更加突出。这些发现表明,转录压缩可以将虚假视频表示为更连贯和权威的输入,从而削弱错误信息检测所需的线索