论文
个性化多模态大语言模型中的群体偏好坍缩
Group Preference Collapse in Personalized Multimodal Large Language Models
摘要
个性化多模态大语言模型（MLLM）旨在生成用户特定的响应，但现有方法主要依赖画像级信息，忽视了多样的用户偏好。我们识别出群体偏好坍缩现象：多用户个性化 MLLM 由于偏好信号被抑制以及生成过程中偏好的使用不可靠，变得对个体偏好不敏感并向占主导地位的群体级选择漂移。我们提出 PrefMoE，一个以偏好为中心的框架，将稳定的画像信息与偏好相关表征分离。PrefMoE 将偏好分解为共享原型和个性化残差，通过不平衡感知学习、反事实伪用户增强和残差去相关来保留个性化残差，并通过独立的 LoRA 适配路径分别路由画像和偏好因素。在多个 MLLM 骨干上的实验表明，PrefMoE 改善了偏好敏感的个性化，同时大幅减少偏好坍缩。项目页面：https://prefmoe.github.io/。
