论文

导航用户行为走向个性化多模态生成

Navigating User Behavior toward Personalized Multimodal Generation

模型训练强化学习

摘要

现代AIGC管线交付高保真图像与视频——但预设一条良构的创作指令——而终端用户很少清楚表述视觉细节——使生成器与用户需求错位。我们研究个性化内容生成:把用户交互历史转为下游合成的可执行指令——并识别两个障碍:行为必须以语言推理可读的形式编码——模型必须习得预训练与行为数据中都缺失的指令撰写技能。我们提出NaviGen:以双重标识符表示每个物品——在单一token流中耦合协同代码(行为基底)与文本代码(语义桥)。在该表示上——两阶段SFT+RL管线先从演化搜索的监督蒸馏偏好推理与指令撰写——再经层级化与自一致奖励把生成对齐到用户意图。跨产品、游戏与短视频域的实验表明NaviGen改进个性化图像与视频生成——增强下一物品预测——并产出更具体、更相关、视觉上可生成的指令。代码发布于 https://github.com/iLearn-Lab/NaviGen。

导航用户行为走向个性化多模态生成:论文配图
图 2:所提出的用于个性化多模态生成的 NaviGen 框架的总体架构。