谁的名字出现了？三：基于LLM的学者推荐的角色提示效果

大语言模型 (LLM) 越来越多地被用作学者推荐人，塑造谁被视为学术界的专家。现有的审计仍然以英语为中心、单一学科且与人物无关，导致对产出变化的来源知之甚少。为此，我们提出了一个基准，可以理清模型选择和提示设计对推荐的影响。我们通过不同的角色提示（语言、位置、角色和任务）和上下文（领域、资历、k）来审核 43 LLM。推荐的学者与六个科学学科的语义学者进行比较，以衡量技术质量（事实性、覆盖范围）和社会代表性（多样性、平等性）。基本技术质量由模型选择、环境的真实性和平等性以及位置的多样性驱动。南非的提示产生较少的事实列表，而日本的提示产生高度事实但同质的列表，偏向于高产学者。因此，即时设计是基于 LLM 的学者发现的一个重要轴，应该与模型选择一起进行系统审核。