ThoughtTrace：了解现实世界交互中的用户想法 LLM 交互

对话式人工智能现已覆盖数十亿用户，但现有数据集仅捕获人们所说的内容，而不是他们的想法。我们推出了 ThoughtTrace，这是第一个大规模数据集，它将现实世界的多轮人类-人工智能对话与用户自我报告的想法配对：他们发送提示的原因以及对助理响应的反应。 ThoughtTrace 包含 1,058 个用户、2,155 个对话、17,058 个回合以及跨 20 个语言模型收集的 10,174 个思想注释。我们的分析表明，ThoughtTrace 捕获了长期的、主题多样的交互，并且思想在语义上与消息不同，前沿 LLM 很难从上下文中推断，内容多样，并且与对话阶段相关。我们进一步展示了下游建模思想的实用性。首先，思想作为推理时间上下文改进了用户行为预测。其次，思想引导的重写为训练个性化助理提供了细粒度的对齐信号。 ThoughtTrace 将用户想法建立为一种新的数据模式，用于研究人类与人工智能交互背后的认知动态，并为构建更好地理解和适应用户潜在目标、偏好和需求的助手奠定了基础。