MagicSchool 用 Claude 构建学生对话安全层

MagicSchool是覆盖1.3万多所学校与学区、超700万教育工作者的K-12 AI平台，用Claude驱动学生端辅导、学习和聊天机器人等安全体验，每月处理数百万次学生交互。此前采用现成第三方审核系统，随着消息量增大，其在教育场景的语境理解不足，误报漏报反复出现。据介绍，团队改为用Haiku 4.5做专注自伤与心理困扰信号的LLM Judge：学生消息经API实时送审，命中即向教师推送应用内提醒，学区管理员可选邮件通知；面向学生的回应由另一个Claude驱动的工具直接给出资源或建议，后续处置按各学区政策执行。官方称该层每月实时审核800万-1000万条学生消息，几次提示词迭代后关键类别误报减少3倍；上线前对每个模型做红队测试，并以外部基准与自有用户数据验证其不错报良性内容。工程团队同时把Claude Code纳入研发流程，据内部调查结果升级为企业账户。部署遵循未成年人使用的API要求，页面未披露召回率等更多指标。