论文

使用多代理 LLM 系统进行自动教科书审核

Automated Textbook Auditing with Multi-Agent LLM Systems

应用与实践行业应用

摘要

确保教材的质量需要的不仅仅是标准校对:必须同时审核教科书的事实准确性、特定领域的技术正确性和语言质量——这是通用语法检查器无法解决的任务。我们推出了 \textbf{AI Textbook Auditor},这是一个模块化多代理管道,用于跨学科领域的教育材料的自动质量保证。该系统接受教科书 PDF 并通过两个分析轨道生成结构化的、可供人工审核的报告:\textbf{事实和技术轨道},其中一组专门的 LLM 代理检测事实不准确、代码错误、不正确的定义和概念不一致,并通过人文领域的网络搜索进行增强;和 \textbf{Grammar Track} 以 PDF 方式运行以保留变音编码。 \textbf{Judge Agent} 在将调查结果呈现给人工审阅者之前,使用特定于域的规则过滤误报。该管道支持两种摄取模式——视觉本机页面渲染和 PyMuPDF 文本提取——并且通过编码特定于主题的错误分类法的自定义提示进行域适应。我们在两本罗马尼亚高中教科书上演示了该系统:一本计算机科学教科书(涵盖七个类别的 56 项技术发现,专家验证的精确度为 62.5%)和一本历史和社会科学教科书(涵盖事实错误、意识形态偏见和语法的 72 项发现)。该系统被设计为一个分类工具,可以减少查找候选问题的手动工作,在任何编辑操作之前都需要经过人类专家的验证。