Mechanistic Shaping：训练中约束内部概念并检查其是否仍可监测

我们提出Mechanistic Shaping，一个通过模型内部表征塑造行为的统一框架。在训练时，该方法使模型遵循两类概念规范：它表达哪些概念，以输出或内部表征度量，例如不产生有害内容；以及它依赖哪些概念作出决策，例如简历筛选不依赖候选人的性别。在视觉、医学影像、语言等领域、最高32B参数规模及分类、SFT、DPO、GRPO等训练范式中，该方法显著减少目标行为，同时维持任务表现。由于针对表征的训练也会改变表征，我们进一步问被塑造的概念是否仍可监测，这取决于监测器类别。我们建立监测器层级，区分逃过某个探针的概念和真正从某一层消失的概念，并分析三种规避几何机制：概念漂离监测器、从该层被擦除，或作为非线性编码保留在高阶统计中；后一种以乘积码构造解释。不同设置或更大规模也许会出现其他机制，但这三种与我们所有表征观察相符，重新编码和非线性编码都会留下可被相应层级监测器读取的特征。在所测运行中，被塑造的概念大体仍可监测：重新拟合的线性探针在多数设置恢复概念，原探针在其评分未接收梯度时也大体可靠。这些结果显示将可解释性用于训练的潜力，并要求对基于可解释性的训练建立同样严格的科学方法。