论文

引用或拒绝:一个严格的基于课程的 STEM 讲座视频聊天机器人

Cite or Decline: A Strict Course-Grounded Chatbot for STEM Lecture Videos

上下文与知识检索增强

摘要

录制的讲座视频通常具有搜索和摘要功能,是标准的学习资源。然而,学生无法轻易提出课程特定问题或根据讲师的讲座验证答案。我们报告了 VideoPoints 平台的一个学期部署,该平台带有检索增强型聊天机器人,可以从课程讲座材料中进行回答并返回带时间戳的引文。聊天机器人仅从活动课程中检索,使用章节摘要来指导成绩单排名,并返回可点击的带时间戳的引文。学生用它来快速查找和考试复习。在 833 条消息中,70.5% 包含引用,没有一条跨越课程边界,当没有匹配的讲座证据时,聊天机器人通常会拒绝而不是回答。在用户中,引文是最一致有用的功能,而练习题生成是最强烈的未满足请求。我们还评估了 EduVidQA 的实际测试部分的设计,EduVidQA 是一个用于讲座视频问答的公共多模态基准。我们的设计将正确讲座检索比仅密集检索提高了 6.3 个百分点。总之,结果表明,有效的部署取决于课程隔离、支持的引用以及与学生学习实践的一致性。