论文
SYNLAT:用于思维链推理的语法对齐文本潜空间压缩
SYNLAT: Syntax-Aligned Text-Latent Compression for Chain-of-Thought Reasoning
摘要
长的思维链 (CoT) 跟踪会带来大量的输出 token 成本。在预算有限的情况下,压缩必须保留关键答案信息,使边界放置成为中心。 token 级和固定长度边界可以分割连贯的跨度,例如短语、公式和局部推导,而步级边界可以绑定需要不同压缩操作的内容。我们引入了 SynLat,一个文本潜在的 CoT 框架,它通过非重叠的语法对齐单元 (SAU) 将压缩边界与语法结构对齐。答案条件的教师模型为单个受压缩条件控制的学生模型构造渐进 KEEP/LATENT 目标;学生模型在推理时只依据问题及请求的压缩级别生成混合推理。在两个 Qwen3 学生模型规模、标准 CoT 和长 CoT 组以及三个压缩级别中,SynLat 匹配或超过所有 12 个任务组聚合中最强的评估基线,并在报告的已实现 CR 选择协议下严格领先于 11 个任务组。 Qwen3-8B/14B 的总体增益在 MEDIUM 时达到 3.6/2.6 点,在 HIGH 时达到 7.0/5.5 点,在更强的压缩下具有更大的优势,特别是在 Long-CoT 组上。