论文

CAP-CoT:用于改进LLM推理思维链的循环对抗提示

CAP-CoT: Cycle Adversarial Prompt for Improving Chain of Thoughts in LLM Reasoning

模型推理推理验证与自校正

摘要

思维链(Chain-of-Thought, CoT)提示已成为引导大语言模型(LLM)给出逐步解法的一种简单而有效的方式。然而,在长的多步问题上,CoT推理在不同运行之间可能不稳定,导致任务未变而答案不一致。以往工作大多聚焦于在单次推理中改进前向推理链,较少关注迭代式与对比式纠错。为填补这一空白,我们提出CAP-CoT,一个循环对抗提示(Cycle Adversarial Prompt)优化框架,旨在同时提升单个已部署求解器的CoT推理准确率与稳定性。在每一循环中,前向求解器生成候选推理链,对抗挑战者使用定向错误策略构造貌似合理但故意有缺陷的推理链,反馈智能体对比两条链并产生按步骤对齐的结构化反馈。该反馈从两个方向闭合优化回路:根据挑战者暴露的错误更新求解器提示,以及更新挑战者提示以在后续循环中生成更具针对性的错误。与越狱或提示注入攻击等面向安全性的对抗提示不同,我们的对抗成分是任务语义层面的,旨在暴露推理链中的逻辑漏洞。在六个基准和四个LLM骨干上的实验表明,经过两到三轮对抗提示优化循环,CAP-CoT在提升推理准确率与对提示扰动鲁棒性的同时,持续降低不同运行之间的变异。

CAP-CoT:用于改进LLM推理思维链的循环对抗提示:论文配图
图1:CAP-CoT框架概览:通过循环对抗提示改进LLM思维链推理的质量。