LLM 从规则中学习上下文比从示例中学习得更好

大语言模型 (LLM) 表现出上下文学习能力，他们可以从提示上下文中学习新任务，而无需权重更新。我们比较了两种主要的情境学习模式的学习效率：（1）从规则描述中学习（遵循指令）； （2）从输入输出演示的例子中学习（少镜头提示）。通过涵盖不同领域（游戏、算术、语言推理）的五种学习任务，我们比较了指定相同基础任务的两种学习模式（规则与示例）。我们还探索调节学习效率的模型和任务属性。我们发现，模型通常从规则中学习比仅从示例中学习更可靠，并且规则之上的附加示例或简单地增加示例数量不会带来一致且显着的收益。指令调整放大了基于规则的学习的好处，同时保持基于示例的学习能力完整。令人惊讶的是，我们在基础模型中没有发现基于示例的学习的特殊效果，并且规则仍然会导致代数任务领域的收益。总体而言，当任务需要代数抽象和计算时，规则相对于示例的比较效力较大，而当任务需要分布敏感性和/或需要参数知识时，规则相对于示例的比较效力较小。