论文

超越有用性:以教学重于解题的诊断度量LLM导师的教育影响

Beyond Helpfulness: A Teaching-over-Solving Diagnostic for Measuring Educational Impact in LLM Tutors

模型评测评测方法与指标

摘要

大语言模型日益被提议为教育导师——但更强的解题能力未必意味着更强的学习支持。受近期对在实践中度量NLP系统社会影响的呼吁启发——我们研究公开LLM辅导基准是否区分学习支持行为与单纯产答。我们提出基于解题导向与教学法导向基准表现之差的轻量诊断。使用公开MathTutorBench排行榜结果——我们表明这些维度仅部分对齐:跨八个公开报告模型——解题与教学法复合分的相关为0.421——且当评估从解题转向教学法时若干模型排名显著变动。我们随后分析公开TutorBench样本——表明与主体性相关的行为被显式编码在基准量规中——尤其在奖励引导性问题、校准提示与非泄露式脚手架的主动学习设定中。合起来——这些发现表明教育影响评估不应把任务成功当作学习支持的充分代理。我们主张公开辅导基准可通过分开报告解题导向与教学法导向分数、并使泄露敏感、保护学生主体性的标准更明确——更好地支持正向影响评估。