Many-Shot CoT-ICL：让情境学习真正学习

虽然多镜头 ICL 取得了显着的性能，但之前对其缩放行为的研究主要集中在非推理任务上。在这项工作中，我们研究了推理任务中的多镜头 ICL，特别关注多镜头思想链上下文学习（CoT-ICL）。通过对非推理和推理任务以及非推理和推理导向的 LLM 的分析，我们发现了多样本 CoT-ICL 的几个独特属性。我们通过将多次 CoT-ICL 视为上下文测试时学习而不是缩放模式匹配来进一步解释这些发现，并提出两个原则：（i）演示应该易于目标模型理解，（ii）它们应该有序地支持概念的顺利进展。在此原则的指导下，我们提出了曲线演示选择 (CDS)，这是一种简单的排序方法，可在 64 次演示的数学任务上获得高达 5.42 个百分点的增益。总体而言，我们的结果将长上下文窗口从检索缓冲区重新构建为用于上下文测试时学习的结构化课程。