ITAS：基于 LLM 的智能辅导的多代理架构

大语言模型 导师很容易在笔记本中构建，但很难在真实课程中运行。我们描述了 ITAS（智能助教系统），这是一种多智能体辅导系统，奥道明大学的研究生量子计算课程使用了一个学期。该系统分为三层。教学层是一个由三个并行专业代理（视频、代码、指导）组成的轮辐，后面跟着一个合成器，再加上一个单独的自动评分器，用于评估检查点提交的正确性和方法。操作层是四个 Cloud Run 微服务，其会话状态位于 Cloud SQL 中，交互事件通过 Pub/Sub 流式传输到 BigQuery。反馈层是一个窄范围的对话代理，它通过每节课的匿名事件流回答教师的问题，解决我们所说的盲人教师问题：LLM 导师积累的有关学生的数据比教师通过常规渠道可以获得的更多。该架构是对早期原型的特定故障的直接响应，我们描述了本次迭代中哪些修复被保留，哪些被放弃。我们报告了一项试点部署（五名学生、一门课程、一学期），该部署被解释为系统行为证据而不是学习成果证据：教学层处理了 334 个聊天轮流，没有域整合可能带来的任务边界幻觉风险，操作层捕获了跨五个模块的 10,628 个事件，反馈层显示了教师在学期中期采取的两项发现。我们并不认为试点具有概括性。我们确实声称，所描述的系统是对基于 LLM 的 ITS 需要是什么样的端到端才能在真实课程中运行这一问题的一个可行答案。