论文
儿童与语言模型中的假设生成与归纳推理
Hypothesis Generation and Inductive Inference in Children and Language Models
摘要
现实世界的决策需要在多重不确定性下构建心理模型:对证据不确定、对底层因果规则不确定、对世界本身的状态也不确定。哪些计算原理支撑着人在此类条件下的推理?在约束相同的情况下,基于LLM的智能体会表现出类似行为吗?我们用归纳推理Box Task来回答这些问题,参与者——人类儿童与基于LLM的智能体——通过与不确定环境的序列交互来推断一个潜在原因。我们将该任务形式化为带贝叶斯粒子推断的程序归纳,它容许两种互补解读:(1) 作为假设空间上的约束满足过程;(2) 作为程序综合问题,其中假设是依据证据评估的可执行程序。基于约束的表述,我们发现儿童行为最好由主观证据可靠性与在线假设生成的组合来解释,这同时解释了他们的证据寻求模式,以及任务完成与规则泛化之间的分离。基于程序综合的表述,我们将基于LLM的智能体视为模式生物:可对任务条件进行系统操控的可控系统。跨各种后端,基于LLM的智能体复现了儿童对证据可靠性与可观测性变化的反应,包括对不可靠证据打折、寻求消解部分信息,以及在任务完成与因果泛化之间的分离。与此同时,相对于儿童,基于LLM的智能体倾向于过度观察和过度遵从指令。这些结果表明,尽管儿童与基于LLM的智能体对环境结构的适应方式相似,但它们的信息寻求行为表现出不同的底层成本与归纳偏置。
