论文
“像五年级学生一样行动”是不够的:基于 LLM 的用户模拟器中的边界知识
"Act Like a 5th Grader" is Not Enough: Bounding Knowledge in LLM-Based User Simulators
摘要
大语言模型 (LLM) 越来越多地用于模拟人类行为,但经常无法表现出现实的认知约束,遭受“超人偏见”。使用来自 2,359 名小学生(4--6 年级)的 71,000 多个阅读理解答案的数据集,我们证明标准角色提示会产生近乎完美的确定性表现,但无法捕捉发展中读者的自然差异。为了解决这个问题,我们引入了认知受限用户模拟器(CBUS),这是一种架构框架,可以通过情景瓶颈明确模拟年轻读者的受限工作记忆。在此框架内,我们制定了两种不同的考试策略来模拟不同的阅读行为。我们的评估表明,显式建模认知边界显着缩小了多个 LLM 主干网之间的模拟差距,这表明强制实施架构约束对于高保真模拟比简单地扩展原始模型功能更有效。