论文
Traj-MC：轨迹感知低秩近似保留压缩dLLM的数学推理
Preserving Mathematical Reasoning in Compressed Diffusion Language Models via Trajectory-Aware Low-Rank Approximation
摘要
扩散语言模型（dLLM）压缩面临已知挑战：校准通常在干净、完全可见的激活上进行，而推理穿越部分掩码的中间状态。对低秩压缩，这引出两个问题：当近似质量在轨迹分布状态上度量时低秩最优性还能否被刻画；校准状态的选择是否影响压缩后的数学推理保留。我们把这些问题表述为跨腐坏级别与掩码实现的轨迹感知低秩目标；为高效估计该目标，提出Traj-MC——经蒙特卡洛采样估计轨迹二阶矩，给出精确的采样状态最优性与总体一致性。匹配压缩预算下，轨迹感知校准改善生成轨迹上的重构，并在数学推理基准上较干净校准保留多得多的数学推理。结果把轨迹感知低秩最优性与dLLM压缩后保留的推理能力联系起来。代码/项目页：https://github.com/Zishan-Shao/traj-mc.git。