他们是人吗？通过探测人类记忆限制来检测 大语言模型

在线行为研究的有效性依赖于研究参与者是人类而不是机器。过去，可以通过提出简单的挑战来检测机器，这些挑战人类很容易解决，但机器却不容易解决。基于 大语言模型 (LLM) 的通用代理现在可以解决其中许多挑战，威胁在线行为研究的有效性。在这里，我们探索通过使用机器能够很好地解决人类无法完成的任务来检测人性的想法。具体来说，我们探讨了既定的人类认知限制的存在：有限的工作记忆容量。我们证明，即使后者被专门指示模仿人类工作记忆限制，标准串行回忆任务的认知建模也可用于区分在线参与者和 LLM。我们的结果表明，使用成熟的认知现象来区分 LLM 和人类是可行的。