情境学习中的渐近思想链理论

思想链（CoT）推理已成为一种广泛使用的机制，通过在推理时生成中间推理步骤来引发 大语言模型 中的多步骤推理。然而，泛化与 CoT 深度的扩展行为仍然知之甚少。为了解决这个问题，我们研究了一种理论上可解的 CoT 模型，用于线性回归中的上下文权重预测，其中测试时推理被表示为权重参数估计的迭代细化。使用高维渐近下的随机矩阵理论工具，我们推导出泛化误差的精确公式，作为推理深度、预训练数据量和上下文长度的函数。我们的分析揭示了指数和多项式改进、饱和和过度思考之间的急剧相变，并描述了最佳推理深度如何扩展。我们进一步表明，在足够丰富的预训练和上下文信息的情况下，更深层次的推理是最有效的，而有限的预训练或上下文使得较长的推理容易出现错误放大或饱和。我们还通过完全学习的线性注意力和 softmax 注意力模型的实验来验证这些预测。我们的结果为测试时 CoT 深度如何影响泛化提供了统一的理论解释。