级联批量提示

尽管批量提示通过同时处理多个实例使 大语言模型 推理更加高效，但它会受到下游任务性能不可预测的影响。我们提出了级联批处理提示，这是一种两阶段方法，旨在通过将复杂的推理与符号基础分开来解决传统批处理提示的不可预测性。多项选择题回答和自然语言推理的实验表明，所提出的方法优于标准的单一提示基线，同时实现了与批量大小成比例的加速，在帕累托边界上建立了新的最先进技术。