多属性有序偏好联合建模及其与比较模型的联系

多变量序数数据和协变量通常在语言模型与人类偏好的对齐以及推荐系统等问题中收集。例如，MovieLens 等数据集包含人类用户按 1--5 等级评分的多部电影，以及年龄或性别等人口统计信息。类似地，HelpSteer 等数据集按顺序收集对 LLM 响应的“有用性”或“冗长”等多个属性的人类反馈，协变量取决于 LLM 提示-响应对。不幸的是，对这些数据进行建模的标准方法（a）单独而不是联合查看属性，并且（b）通常将数据转换为成对或列表式的赢-输比较，以拟合 Bradley-Terry 和 Plackett-Luce 等模型。这两者都会导致实际观察到的内容变得粗化，我们通过联合协变量相关的连续比率马尔可夫随机场模型来解决这个问题。我们还表明，在联合模型的限制下获得了成对或列表比较模型，并且联合建模改进了比较。即使存在棘手的标准化器，我们也开发了最大似然推理程序。