论文
ACIL:情境学习的自动思想链
ACIL: Auto Chain of Thoughts for In-Context Learning
摘要
大语言模型 (LLM) 的最新进展表明,思想链 (CoT) 推理可以显着提高复杂推理任务的性能。同时,上下文学习(ICL)已成为使 LLM 适应新任务而无需更新模型参数、仅使用提示中提供的示例的重要机制。然而,标准 ICL 通常难以完成需要多步骤推理的任务,因为演示通常仅包含输入-输出对,并且缺乏明确的中间推理步骤。本文介绍了一种自动思维链 (Auto-CoT) 框架,通过自动构建推理增强演示来改进 ICL。 Auto-CoT 为输入输出示例生成推理链,通过结构化中间解释增强提示上下文,并通过系统选择过程删除不相关或低质量的演示。通过将高质量的推理示例纳入 ICL 提示中,Auto-CoT 引导模型进行更可靠的推理并提高预测准确性。跨多个推理任务的实验表明,所提出的框架通过提供明确的中间推理指导来提高 ICL 性能。