论文

增强 LLM 指令遵循:一种评价驱动的提示指令优化多智能体工作流

Enhancing LLM Instruction Following: An Evaluation-Driven Multi-Agentic Workflow for Prompt Instructions Optimization

上下文与知识上下文工程

摘要

大语言模型(LLM)常常生成内容上相关但未能遵循形式约束的输出,导致结果在概念上正确而在流程上有缺陷。传统提示改进方法聚焦于改写 LLM 需要执行的主任务描述,忽视了那些充当响应验收标准的细粒度约束。我们提出一种新颖的多智能体工作流,将主任务描述的优化与其约束解耦,使用量化分数作为反馈来迭代重写和改进它们。我们的评估表明,该方法生成的修订提示使 Llama 3.1 8B 和 Mixtral-8x 7B 等模型给出显著更高的合规分数。

增强 LLM 指令遵循:一种评价驱动的提示指令优化多智能体工作流 配图
图 1:所提出的指令精炼工作流。