论文
IS-CoT:通过交错结构思维打破长形式的一代崩溃
IS-CoT: Breaking the Long-form Generation Collapse via Interleaved Structural Thinking
摘要
生成连贯且可控的长格式内容仍然是 大语言模型 (LLM) 面临的持续挑战。虽然推理增强模型在逻辑密集型领域取得了成功,但我们的评估表明,它们在开放式写作中遭受了严重的长度崩溃,当目标长度超过 2,000 字时,性能急剧下降。我们将这种失败归因于静态分层规划的局限性,它很难在扩展的上下文中提供动态指导。为了弥补这一差距,我们引入了交错结构思想链(IS-CoT)框架。与外部代理工作流程不同,IS-CoT 将动态的计划-写入-反映循环嵌入到生成过程中,无需额外帮助即可实现持续的策略调整和全局调整。基于该框架,我们通过多教师管道构建了高质量的交错推理轨迹数据集并训练 IS-Writer-8B。实验表明,IS-Writer-8B 在具有挑战性的长格式基准测试中实现了最先进的性能(例如,在 LongBench-Write 上与 DeepSeek-V3.2 相比,+3.08),表现出强大的长度合规性和一致性,可与更大的专有模型相媲美。