论大语言模型中的认知多样性

大语言模型 (LLM) 越来越多地不仅用于检索信息，还用于回答问题、解释、教学和支持查询。在这种情况下，评估不能仅靠准确性或对齐来穷尽。系统可以给出正确的答案，同时仍然缩小用户对知识的访问范围。替代有效的答案、解释或推理路线。借鉴哲学和社​​会认识论中更广泛的认知多样性概念，我们在 LLM 的背景下将其形式化为 LLM 向用户公开的有效答案、解释和推理路线的范围。我们认为，对于使用 LLM 支持知识密集型任务的环境，认知多样性是一个有用的评估维度。我们在 LLM 中提出了一个用于概念化和测量认知多样性的初步框架，并在两个领域中实施它。我们发现前沿 LLM 经常表现出认知狭窄，反复将大的有效答案空间折叠到小的规范子集上。这些发现表明，LLM 评估应该超越以准确性为导向的范式，并将认知多样性视为模型能力的一个重要维度。