社会仿真中生成式智能体的步级偏好学习

基于大语言模型（LLM）的生成式智能体经包含规划、记忆检索、反思与动作选择等中间步骤的长程决策过程仿真人类行为。但这些中间步骤的细粒度人类标注仍稀缺，既有智能体也未落地于人类对此类中间决策的偏好。为弥合该差距，我们引入一个交互式仿真界面——使我们能够收集智能体决策轨迹上的步级人类偏好监督——形成含5.7万细粒度标注的数据集。我们以监督微调与直接偏好优化在该数据上对开放权重语言模型做步级偏好学习：持续改善仿真保真度、协作与交互质量，并诱导更具社会有效性的智能体行为。结果显示：步级人类监督是同时改善局部决策质量与长程智能体行为的有效训练信号。