大语言模型 会对电海龟产生幻觉吗？

人工智能幻觉——即虚构的、无法验证的或与源材料相矛盾的输出——通常被视为需要处理的工程缺陷。本文认为，当涉及到机器意识问题时，它们也具有哲学意义。我们检查了 大语言模型 中幻觉的已知原因 - 例如源目标分歧、训练和推理之间的差异以及过度拟合 - 并且我们提出了两项​​实证研究。首先，我们将连续几代的 GPT 模型应用于不同温度设置下模糊的事实问题，发现较高的温度会产生看似合理但不正确的答案，而较低的温度会产生事实上准确的答案。使模型看起来具有创造性或自发性并因此更有可能通过智力行为测试的采样参数与增加其幻觉率的采样参数相同。在第二个例子中，我们研究了一个仅编码器的模型，该模型已经过百科全书式数据的训练，并且可以真实地回答相同类型的问题，并且没有任何修饰，这表明幻觉是由于暴露于主观和社会多样化的训练数据而不是任何认知能力的发展而产生的。参考图灵、塞尔的中国房间、框架问题以及维纳和阿什比的控制论传统，我们声称模型对情感或知觉的自我报告属于幻觉的定义，并且机器意识的任何未来发生可能在认知上仍然难以接近，因为它将与足够高级的幻觉无法区分。