进化汤：多目标 LLM 对齐的进化专家组合

越来越多地需要 大语言模型 生成满足多个竞争目标的响应。由于最佳权衡取决于用户偏好和输入提示，因此可控多目标生成必须在推理时动态调整模型，而无需重新训练。为了解决这个问题，我们提出了 Evolutionary Soups，这是一种用于细粒度生成控制的专家混合框架，其门控网络通过进化算法进行训练。每层门网络从隐藏状态表示中动态生成专家合并系数，而进化算法则结合了贪婪超体积贡献，以实现这些门网络的有效进化，从而在大型和噪声训练数据集上实现一致的改进，并更广泛地覆盖非凸帕累托前沿。跨三个任务的实验证明了进化汤相对于基线的有效性：它在所有任务的可控方法中实现了最佳的超体积、线性效用和切比雪夫效用（约 20% 的改进）。