论文
APEX:具有动态数据选择的自动化提示工程专家
APEX: Automated Prompt Engineering eXpert with Dynamic Data Selection
摘要
大语言模型 对提示配方高度敏感,需要自动提示优化以释放其全部潜力。虽然进化算法已成为主导范式,但它们遇到了一个关键瓶颈:数据效率。当前的方法将开发数据集视为静态基准,在无信息的数据上浪费了大量的计算预算。在这项工作中,我们介绍了 APEX(自动提示工程专家),这是一种新颖的框架,可以在提示搜索的同时优化数据使用。 APEX 根据优化沿袭将数据集动态分层为简单、困难和混合层。通过优先考虑混合层(识别 LLM 具有混合性能的数据),我们确定了两个高杠杆子集:用于生成信息突变的可寻址前沿和用于区分候选质量的排名敏感前沿。我们通过三个不同的基准来评估 APEX:IFBench、SimpleQA Verified 和 FACTS Grounding。在 5,000 次评估调用的固定预算下,由于其数据效率,APEX 在 Gemini 2.5 Flash 上比初始提示平均高出 11.2%,在 Gemma 3 27B 上比初始提示平均高出 6.8%,这表明以数据为中心的方法是高效且有效的提示优化的关键。