GraphRAG-IRL：基于图的逆强化学习和 LLM 重新排名的个性化推荐

个性化推荐需要模型能够捕获连续的用户偏好，同时对稀疏反馈和语义模糊性保持鲁棒性。最近的工作探索了 大语言模型 (LLM) 作为推荐器和重新排名器，但纯粹的基于提示的排名通常会受到校准不良、对候选排序敏感以及流行度偏差的影响。这些限制使得 LLM 成为有用的语义推理器，但作为独立的排名引擎并不可靠。我们提出了 \textbf{GraphRAG-IRL}，这是一种混合推荐框架，结合了基于图的特征构建、逆向强化学习（IRL）和角色引导的 LLM 重新排序。我们的方法构建了一个关于项目、类别和概念的异构知识图，检索个人和社区偏好上下文，并使用这些信号来训练最大熵 IRL 模型以进行校准预排名。然后，LLM 仅应用于简短的候选列表，其中角色引导的提示提供与 IRL 排名融合的补充语义判断。实验表明，GraphRAG-IRL 是一个强大的独立推荐器：与监督基线相比，带有 GraphRAG 的 IRL-MLP 在 MovieLens 上将 NDCG@10 提高了 15.7%，在 KuaiRand 上提高了 16.6%。结果还表明，IRL 和 GraphRAG 具有超加性，其组合增益超过了它们各自改进的总和。 Persona 引导的 LLM 融合进一步提高了排名质量，与 MovieLens ml-1m 上的仅 IRL 基线相比，NDCG@10 提高了 16.8\%，而 KuaiRand 上的分数融合在 LLM 提供商中提供了 4--6\% 的一致增益。