PeReGrINE：使用用户项目图上下文评估个性化评论保真度

我们引入了 PeReGrINE，这是一个基于图结构用户-项目证据的个性化评论生成的基准和评估框架。 PeReGrINE 将 Amazon Reviews 2023 重组为时间一致的二分图，其中每个目标评论都以来自用户历史记录、商品上下文和明确时间截止下的邻居交互的有限证据为条件。为了在不直接以稀疏的原始历史为条件的情况下表示持久的用户偏好，我们计算了一个用户风格参数，该参数总结了每个用户在先前评论中的语言和情感倾向。此设置支持四种图形派生检索设置的受控比较：仅产品、仅用户、仅邻居和组合证据。除了标准生成指标之外，我们还引入了失调分析，这是一种宏观层面的评估框架，用于衡量与预期用户风格和产品层面共识的偏差。我们还研究视觉证据作为辅助上下文源，发现它可以提高某些设置中的文本质量，而图形衍生的证据仍然是个性化和一致性的主要驱动力。在各个产品类别中，PeReGrINE 提供了一种可重复的方法来研究证据构成如何影响评论保真度、个性化和检索条件语言模型的基础。