Mind2Dialogue：通过模拟用户心理状态训练人类感知语言模型

随着语言模型变得越来越强大，学习、推理和决策方面的长期协作需要更深入地了解它们所服务的人群。然而，训练这种具有人类意识的语言模型面临着根本性的监督差距，因为目前用于大语言模型助理训练的数据集几乎没有包含明确基于用户不言而喻的信念和目标的消息灵通的响应。由于用户的底层状态无法直接观察，因此扩展此类监督本质上受到限制。因此，我们提出 Mind2Dialogue 框架，通过模拟用户的心理状态并将其转化为人类意识训练的特权监督来缩小这一差距。具体来说，我们首先提出了一种心理学引导的模拟器，它可以保留个人特征，同时通过交互更新心理状态以生成连贯的对话。关键思想是强制形成共享的不断变化的心理状态，以驱动用户行为并指导 Oracle 助理的响应。然后，我们的特权蒸馏根据 Oracle 的消息灵通的响应来训练模型，以帮助用户在部署时无需直接访问他们的心理状态。此外，我们建议通过结合个性化和心理理论来评估人类意识学习，研究模型如何理解人类并根据这种理解采取行动。与相应的 Qwen、Llama 和 OLMo 指令调整基线相比，对完整 Mind2Dialogue 语料库进行训练改进了每个报告的个性化指标，包括在偏好下一代中提高了 26.6 至 40.9 个百分点。除了个性化帮助之外，Qwen 和 Llama 的收益还延伸到了信念和行动推理。展望未来，Mind2Dialogue 使用户模拟成为真正的 AI 协作者的基础，真正的 AI 协作者可以理解人们言语背后的信念和意图，并支持他们在教育、工作和日常生活中的长期目标。