论文

大语言模型会像人类一样选择吗?使用认知理论评估大语言模型决策

Do LLMs Choose Like Humans? Using Cognitive Theory to Evaluate LLM Decision-Making

模型评测模型行为与机制分析

摘要

大型语言模型(LLM)表现出一系列类似人类的决策行为,但这些行为是否反映了类似的潜在机制或表面模仿仍不清楚。我们评估大语言模型的情境敏感性是否与通过问题分类和注意力分配来解释人类行为的认知经济理论相一致。在 12 个开源和商业大语言模型的新的 140,000 次试验产品选择基准上,环境会导致选择和问题分类方面发生类似人类的转变,但不能可靠地重新权衡价格和质量等特征之间的注意力。规模推理和思维链推理都不会可靠地削弱情境敏感性或产生类似人类的行为。这些结果表明大语言模型的决策机制与人类的决策机制不同。