利用轮廓感知多模态增强零样本个性化图像美学评估 LLM

个性化图像美学评估（PIAA）旨在预测单个用户对图像的主观评分，这需要对用户特定的审美偏好进行建模。现有方法依赖于该建模的历史用户评分，因此当此类数据不可用时会遇到困难。我们通过使用用户配置文件作为个性化的上下文信号并采用基于配置文件的个性化范例来解决这种零样本设置。我们推出了 P-MLLM，这是一种轮廓感知的多模态 LLM，它通过选择性融合模块增强了冻结的 LLM，以实现受控视觉集成。这些模块在配置文件条件推理期间选择性地将视觉信息集成到模型不断演变的隐藏状态中，从而允许以配置文件感知的方式合并视觉信息。最近 PIAA 基准测试的实验表明，P-MLLM 实现了有竞争力的零样本性能，并且即使在粗略的配置文件信息下仍然有效，这凸显了零样本 PIAA 中基于配置文件的个性化的潜力。