KACE：面向数学推理的知识自适应上下文工程

上下文工程可以在不更新权重的情况下改进大语言模型，但数学推理暴露出一个关键局限：在单个不断增长的提示中累积反馈会导致上下文膨胀，并限制可用的已学指导信息的数量。现有方法常将存储（跨运行学到的内容）与使用（针对特定问题纳入的内容）混为一谈，因而继承了这一提示长度上限。我们提出知识自适应上下文工程（KACE），通过基于难度与领域的组织方式将存储与使用分离。离线阶段，自反学习循环将训练轨迹蒸馏为一棵认知树：一个按问题难度与认知领域分层的类型化卡片知识库。每张卡片被分配到与产生它的失败相对应的难度-领域节点。评估时，带逐层一致性门控的分层自一致性动态地将每个问题分类为简单、中等或困难。简单问题无需检索卡片即可退出，而更难的问题只检索树中匹配的分支。该分层方案在使用相近算力的情况下达到或超过Best-of-N，并以78%的成对一致率对问题难度进行分类。主要的实证贡献是构建并使用了一个由分层自一致性支撑的、按难度与领域分层的知识库。在AIME 2025上，KACE达到62.2%的准确率，在相近的求解器调用预算下较固定Best-of-5自一致性绝对提升10.4个百分点，较最强的已学上下文基线Tiered + GEPA提升5.6个百分点。我们还在MATH-HARD与OlymMATH的可验证子集上观察到一致的提升。