语言模型会收敛到自身吗？作为文本松弛的递归自我精炼

摘要

大语言模型越来越多地被用于递归精炼工作流，即由同一模型反复修改一份初稿。尽管用途日增，这类工作流的长期动态仍知之甚少。反复精炼会无限地持续改进输出，还是收敛到稳定的文本形态？我们将递归自我精炼研究为一个动态过程：反复的LLM修改驱动文本趋向一个模型偏好的软不动点区域。使用GPT-5.5，我们在默认温度与确定性两种解码下为50篇ICML 2025摘要生成10步精炼轨迹，并额外评估15篇ICML 2020摘要。我们分析归一化编辑距离、精确与近似不动点、词数稳定性、指数松弛以及外部LLM-as-a-judge评估。在所有设定下，精炼轨迹都迅速饱和。大多数编辑发生在最初几次迭代内，此后轨迹进入软不动点区域，只剩轻微的表层变化。确定性解码比默认温度解码更早到达精确不动点且残余波动更小，而两者都实现普遍的近似收敛。平均编辑幅度遵循一致的指数松弛模式，表明收敛趋向模型偏好的文本平衡态，而非开放式优化。外部评估表明，收敛后的摘要在保持技术含义的同时提升了清晰度、简洁性与科学文风。这些发现支持LLM自我精炼的动力系统视角，并启发基于编辑幅度饱和的实用停止准则。

语言模型会收敛到自身吗？作为文本松弛的递归自我精炼：论文配图 — 图 1：作为文本上的离散动力系统的递归自求精概述。从原始抽象 V0V_{0} 开始，重复应用相同的细化算子 RθR_{\theta} 来生成轨迹 V0,V1,…,VTV_{0},V_{1},\ldots,V_{T}。我们测量转变幅度 Δt=d⁡(Vt,Vt+1)\Delta_{t}=d(V_{t},V_{t+1})，分析精确和近似固定点，并拟合指数松弛模型 Δt≈Ae−kt+c\Delta_{t}\approx Ae^{-kt}+c。残差项 cc 捕获软定点基底，其中进一步的细化仅产生小的表面水平波动。外部 Gemini 法官会比较 V0V_{0}、V1V_{1} 和 VTV_{T}，以评估收敛是否对应于质量改进而不仅仅是文本停滞。