DICE：LLM辅导中将能力与干预必要性解耦

流畅的指导并不等同于有用的干预。 LLM导师通常经过训练来生成下一个教师模型话语，隐含地假设每个学生模型回合都需要响应。然而，我们的实验表明，这将辅导能力（说什么）与干预必要性（是否说）混为一谈。我们引入了 DICE，这是一个通过首先选择明确的教学行动将干预决策与响应生成分离的框架。为了校准此行动选择策略，我们定义了干预值 (IV)，这是一个基于执行轨迹的反事实指标，用于将每个行动与非干预进行比较。 IV 表明，许多规定的干预措施几乎没有或根本没有边际效益。我们进一步介绍了 DICE-Bench，这是一种多变体数学辅导基准，具有用于会话级评估的技能保留问题变体。使用 IV 加权和 KL 正则化策略优化，DICE 学会有选择地进行干预，同时保持辅导效果。在模拟辅导课程中，DICE 将过度干预率降低到接近于零，同时指导学生纠正解决方案的次数比现有的苏格拉底辅导基线平均减少了大约 3-4 次。