论文
大语言模型的评论界推崇取向：来自电影偏好诱导的证据
Critical Acclaim Orientation in Large Language Models: Evidence from Film Preference Elicitation
摘要
大语言模型（LLM）的训练语料中包含人们对电影、书籍、音乐等的评判表达。然而，LLM是否系统地再现这些评价等级体系仍不清楚。先前关于LLM文化偏见的研究给出相互竞争的预期：模型可能镜像互联网文本的人气信号，也可能再现批评性话语中内嵌的声望形态。我们通过电影评估研究来探究这一问题，涉及来自四个家族（Anthropic、OpenAI、阿里巴巴和Mistral）的八个模型，使用一个由200部电影组成的基准，划分为评论界推崇、商业成功和双重合法性（评论推崇+商业成功）三类。在对每个模型进行20,000次成对强制选择比较并用Bradley-Terry估计分析后，我们观察到所有模型一致的评论界推崇取向：评论推崇但商业冷门的电影被选中而非商业成功但评论不受认可的电影。该模式在每个家族内随模型规模增大而增强。此外，嵌套OLS回归分析显示，评价取向、公众知名度和大众口碑各自独立地有助于解释偏好。控制公众知名度后，模型对双重合法性电影相对仅评论推崇电影的偏好发生反转；进一步纳入大众口碑则大幅削弱仅商业成功电影的劣势。最后，评价型与推荐导向的提示词框架产生不同的排名，表明评论界推崇取向可能在真实LLM部署中间接显现。
