论文
上下文指导：通过用于少样本多任务优化的数值基础模型学习任务间协同作用
In-Context Guidance: Learning Inter-Task Synergies via Numerical Foundational Models for Few-Shot Multitask Optimization
摘要
多任务优化（MTO）同时处理一组优化任务，在有限的评估预算下常常会遇到任务间关系估计不准确的问题，从而导致负迁移。本文介绍了上下文指导多任务优化（ICG-MTO），这是一种利用数值基础模型来改进少样本场景中任务间耦合估计的新颖框架。与仅依赖稀缺观测数据的传统方法不同，ICG-MTO 采用冻结的基础模型通过上下文学习推断辅助指导。该框架通过三个阶段运行：根据评估的解决方案构建特定于算法的上下文查询，使用基础模型推断表征任务之间预测关系的指导信号，并将该信号转换为特定于算法的指导以进行最大后验耦合估计。这种方法在优化的早期数据稀缺阶段提供正则化，并随着特定任务的观察积累而逐渐放弃控制。我们将多任务贝叶斯优化中的框架实例化为 ICG-MTBO，使用定向适应度类查询来指导任务间耦合估计，并进一步在 MFEA-II 中使用决策空间重叠查询来实例化它来指导随机配对概率估计。跨综合基准和现实世界机器人手臂控制问题的实验，以及不同采集函数和进化多任务处理下的评估，证明了 ICG-MTO 对于少样本多任务优化的有效性和通用性。