Human-LLM交互和用户建模中的数据集签名

人类-LLM交互数据集塑造了我们对 AI 使用的理解，并为下游研究（包括训练和用户模型的评估）提供了基础。近年来，越来越多的数据集试图捕捉人类交互的代表性图景——LLM。但是这些数据集提供的图片有多大不同，这些差异对于基于它们的研究意味着什么？我们通过七个对话数据集研究这些问题，涵盖野外聊天日志和人类偏好数据。我们首先回顾 Torralba 和 Efros 的数据集分类实验，发现神经网络分类器仅从远高于随机水平的用户消息中识别对话来源，表明独特的数据集签名。在根据人类设计的分类法的维度匹配数据集后，这种可分离性仍然存在，这意味着这些分类法无法捕获的细微差异。然后，我们研究对用户建模的影响：数据集签名如何传播到在这些数据集上训练的用户模型的输出；数据集选择如何影响用户模型质量的评估以及与这些用户模型配对的LLM助手的后续评估；以及数据集分类器如何指导训练用户模型的数据选择。虽然每个数据集旨在捕获“现实世界”交互的一部分，但我们的研究结果揭示了这些部分的分歧程度，以及这些差异对建立在这些基础上的研究的影响。