Embedding by Elicitation：用于系统提示贝叶斯优化的动态表示

系统提示是现代AI系统的核心控制机制，塑造着跨对话、任务和用户群体的行为。然而，当反馈只能以聚合指标的形式获得、而非逐样本的标签、失败或批评时，系统提示很难调优。我们将这一聚合反馈设定研究为离散、变长文本上受样本约束的黑盒优化问题。我们提出ReElicit，一个基于引导式嵌入（embedding by elicitation）的贝叶斯优化框架。给定任务描述、已评估的提示和标量分数，LLM会引导出一个紧凑、可解释的特征空间，并把提示映射到其中。借助概率高斯过程代理模型，采集函数选出目标特征向量，再由LLM将其实现并细化为可部署的系统提示。随着新评估结果的到来重新引导特征空间，使表示能够适应已观测到的提示-分数历史。我们以离线基准准确率作为受控的聚合代理来评估该设定：优化器对每个提示只观测一个标量分数，没有逐样本标签、错误或批评。在10个系统提示优化任务、总计30次评估预算下，ReElicit在代表性的仅聚合提示优化基线中取得了最强的聚合性能表现。这些结果表明，对于自然语言制品的贝叶斯优化，LLM不仅可以充当提示生成器，还能充当自适应的语义表示构建者。