LLM 基准-气候变化的用户需求失调

气候变化是影响公共决策和政策讨论的重大社会科学问题。随着 大语言模型 (LLM) 越来越多地充当获取气候知识的界面，现有基准是否反映用户需求对于在现实环境中评估 LLM 至关重要。我们提出了一个主动知识行为框架，该框架捕获了不同的人与人以及人与人工智能的知识寻求和提供行为。我们进一步开发了主题意图形式分类法，并将其应用于分析代表不同知识行为的气候相关数据。我们的结果表明，当前基准与现实世界的用户需求之间存在严重不匹配，而人类和 LLM 之间的知识交互模式与人与人之间的交互非常相似。这些发现为基准设计、RAG 系统开发和 LLM 训练提供了可行的指导。代码可在 https://github.com/Ou ChengLiu/LLM-Misalign-Climate-Change 获取。