TeachMateGPT：一个基于多智能体知识的框架，用于根据科学课程材料生成教学评估

自动生成基于教科书的评估项目可以减少科学教师的工作量，但现有的检索增强生成（RAG）系统依赖于平面检索，仅支持单问题生成，缺乏针对弱证据的保障措施，并且不适合资源匮乏、考试结构的课程。我们通过 TeachMateGPT 解决了这些限制，这是一个多智能体系统，为基于课程的科学评估创作做出了四项进步。 (i) COPE，一个分层知识库，用多分辨率索引取代标记窗口分块，该索引沿着教学大纲结构对文档进行分段，并通过可遍历的基于图形的谱系以三个粒度将它们链接起来，将证据与每个主题的教学水平进行匹配。 (ii) 分阶段的、故障关闭的代理管道取代一次性检索然后生成：路由门搜索、检索在覆盖门下融合密集和词汇证据，在证据不足时拒绝生成，并且专家代理起草客观和构建的响应项目。 (iii) SAVER，一种源归因验证协议，根据检索到的证据对 忠实性、相关性和幻觉风险进行评分，对每个创意问题的四个子部分应用更严格的基础检查，并与教师在环评估而不是自动过滤相结合。 (iv) NCTB-SciGen8，一个以课程为基础的数据集，包含 198 个项目（143 个多项选择题，55 个创意问题），涵盖 NCTB 8 级科学教科书的所有 14 章，由 pipeline 制作并由三位执业教师评分。 TeachMateGPT 在普通 RAG 基线上提高了 忠实性 (0.68 $\rightarrow$ 0.96) 和答案相关性 (0.60 $\rightarrow$ 0.89)。