论文

C-MOP:集成 Momentum 和边界感知集群以增强快速进化

C-MOP: Integrating Momentum and Boundary-Aware Clustering for Enhanced Prompt Evolution

上下文与知识上下文工程

摘要

自动提示优化是提升大语言模型(LLM)性能的一个有前途的方向。然而,现有的方法经常受到噪声和冲突的更新信号的影响。在这项研究中,我们提出了 C-MOP(基于集群的动量优化提示),这是一种通过边界感知对比采样(BACS)和动量引导语义聚类(MGSC)来稳定优化的框架。具体来说,BACS利用批次级信息挖掘三方特征——硬负例、锚点和边界对——来精确刻画正负提示样本的典型表示和决策边界。为了解决语义冲突,MGSC 引入了一种具有时间衰减的文本动量机制,可以从迭代中波动的梯度中提取持久的共识。大量实验表明,C-MOP 始终优于 PromptWizard 和 ProTeGi 等 SOTA 基线,平均增益为 1.58% 和 3.35%。值得注意的是,C-MOP 使具有 3B 激活参数的通用 LLM 超越了 70B 特定域密集 LLM,凸显了其在驱动精确即时进化方面的有效性。代码可在https://github.com/huawei-noah/noah-research/tree/master/C-MOP获取。