论文

为你定制:语言模型个性化的纵向影响

Tailored to you: longitudinal effects of personalising language models

模型评测上下文与知识记忆模型行为与机制分析Agent记忆

摘要

开发个性化语言模型的兴趣迅速增长。个性化通常被视为更好服务多样需求的机制,但持续互动如何影响人们对AI的感知与行为,仍缺少理解。尤其是即时人机互动之外的下游后果,如自我感知和人际关系影响,基本未被研究。我们招募992名参与者,在五天内每天与语言模型进行寻求建议的互动,将非个性化基线与两种方式比较:基于记忆,即以先前对话历史为条件;基于问卷,即以研究前信息收集问卷为条件。我们发现,人机互动随时间出现的若干变化,主要由重复接触而非个性化本身驱动。然而,个性化组在寻求建议和信息分享的态度及行为上出现差异:记忆组有更多自我披露,并认为模型较少令人不安;问卷组则报告对曾向AI分享个人信息有更高后悔感。最后,我们强调不同个性化方式对互动结果的细微差异,并讨论对负责任设计和部署个性化AI系统的启示。

为你定制:语言模型个性化的纵向影响:论文配图
图 1:研究方法概述。参与者完成招聘调查,分享一系列类别的个人信息。然后,他们被邀请参加为期五天的研究,其中他们使用以下语言模型进行关系建议对话:根据调查信息进行个性化;根据之前对话的披露进行个性化;或不个性化。参与者每天参与对话并完成日常成果衡量。除了日常测量外,参与者还需要在第一次会议之前完成研究前测量,并在最后一次会议之后完成研究后测量。