从提示本身学习：分层归因提示优化

优化在众多学科中都是基础性的，通常遵循迭代改进初始方案以提升性能的过程。这一原则在提示工程中同样关键，因为为大语言模型设计有效提示构成一个复杂的优化问题。结构化的优化方法需要自动化或半自动化的流程来开发更好的提示，从而减少人工投入、提升性能并使过程可解释。然而，当前的提示优化方法常引发提示漂移：新提示修复了此前的失败，却损害了在先前成功任务上的表现。此外，从零生成提示可能损害可解释性。为解决这些局限，本研究提出分层归因提示优化（HAPO）框架，引入三项创新：（1）针对训练数据和提示历史中错误模式的动态归因机制；（2）用于编辑功能性提示片段的语义单元优化；（3）同时支持端到端LLM与LLM-MLLM工作流的多模态友好递进。应用于单图/多图问答（如OCRV2）和复杂任务分析（如BBH）等场景，HAPO展现出更高的优化效率，优于可比的自动提示优化方法，并为可扩展的提示工程确立了一个可扩展的范式。