论文

ExplainRoute:针对不给出答案的编程导师的部署前审核框架

ExplainRoute: A Pre-Deployment Audit Framework for Non-Answer-Giving Programming Tutors

模型评测评测方法与指标

摘要

编程导师应该支持学习者自己的解释,而不是立即提供标准答案。我们推出了ExplainRoute,这是一个针对不给出答案的编程导师的部署前审核框架。给定代码行和学习者解释,它会估计解释状态并选择两个有界响应之一:费曼式的自我解释提示或苏格拉底式支架。该框架通过机器可检查的合约公开其状态、策略、引用的代码片段和泄漏风险。与仅根据流畅程度对导师进行排名的基准不同,ExplainRoute 在课堂部署之前审核信息边界、响应极性、失败闭合以及学习者解释可见性的价值。我们使用代码组分割在 1,770 对 SelfCode 语料库上离线评估它,其中 443 对保留在 11 个未触及的保留组中。该评估比较了直接答案、固定开放式自我解释、固定苏格拉底脚手架、自适应路由和自适应无状态消融。在所有教学条件下,合同有效性均达到 100%。自适应路由在 60.5% 的记录上与冻结参考规则匹配,状态宏 F1 为 0.238(开放:0.229;苏格拉底:0.246),没有显示出可靠的自适应优势。独立语言模型法官对适应性反应的评分为 4.516/5,优于无状态消融 (2.819/5),但略低于固定开放式自我解释 (4.598/5) 和苏格拉底式脚手架 (4.658/5)。对分层 40 行子集的盲法评估证实,可见的学习者解释可以提高信息价值,而自适应路由并不优于固定策略。其贡献是经过验证的审核协议和边界发现,而不是学习、记忆或因果教学有效性改进的证据。