与 Gumbel-Softmax 先验联合变分偏好对齐，实现个性化用户偏好

联邦学习 (FL) 提供了一种用于对齐 大语言模型 (LLM) 的隐私保护途径；然而，现有的框架通常强制执行单一的奖励模型，不可避免地会平均掉固有冲突的用户偏好（例如，有用与无害）。虽然变分偏好学习（VPL）提供了一条通往个性化的途径，但使其适应去中心化的环境却提出了一个根本性的挑战：严重的本地数据稀缺和异质性导致的后验崩溃。在本文中，我们提出了采用 Gumbel-Softmax Prior 的联邦变分偏好对齐 (FedVPA-GP)，这是一个旨在在不损害隐私的情况下理清不同偏好的框架。为了稳定变分推理，我们引入了联邦混合先验，使客户能够利用总体总体分布作为动态先验。此外，我们结合了正交损失，它明确地强制潜在空间中偏好原型的分离。 HH-RLHF 数据集上的实验表明，FedVPA-GP 的性能显着优于整体基线，成功地消除了相互冲突的用户意图并实现了动态偏好切换。