分类先验锁定：为什么结构化数据的上下文学习失败

大语言模型 (LLM) 越来越多地用作结构化数据的条件生成器，依靠上下文学习 (ICL) 来适应新的分布，而无需更新参数。我们使用高基数表格数据作为受控测试用例，研究了分布不匹配情况下 ICL 对结构化生成的限制，并确定了我们称为 \textit{分类先验锁定} 的结构故障模式：ICL 无法更新模型的先验优于从 预训练 继承的词元分布。在两个 7B 参数开放权重模型中，ICL 通过附加示例提高了数值保真度，但在分类分布上表现出尖锐的上限，无法完全重现稀有类别。参数高效的 微调 (LoRA) 克服了这些限制，但引入了可测量的记忆风险，并且在某些情况下会破坏结构化输出生成的稳定性，突出了适应性和隐私之间的基本权衡。