论文

模型认得你的项目,不认得你:以NameRank度量LLM的辨识力

The Model Knows Your Project, Not You: Measuring Recognition in LLMs with NameRank

模型评测评测方法与指标

摘要

前沿模型在检索之前从自身权重里对一个人物或工具能回忆起什么——常塑造人类看到的第一段描述——使参数语料库存在性成为测量问题。引用解释了模型是否识别一位研究者的约三分之一;我们瞄准残差并构建NameRank,一个[0,1]的辨识分:54个群组的4,685个实体各以一个开放式问题探查36个模型,独立裁判对照精选金标给出二元裁决——模型是否陈述了关于该确切实体的具体、不可猜测的事实?——幻觉、上下文回声与猜测一概不计。合成空实体把下限压在近零,裁决追踪实体而非模型。一个论题组织全部发现:辨识力付给被命名的、可索引的工件,而非头衔或资历。所有奥运式资历都低于一线研究员基线——因为奖牌不附带被命名的工件——但在顶级层面排序反转:诺贝尔、图灵与菲尔兹奖得主饱和面板。对独立创作者,作品胜过作者;真正传播的资历是被命名的方法或获奖论文。作为知名工件的众多署名者之一几乎得不到辨识——旗舰模型报告或系统卡的作者接近辨识地板——因为辨识附着在工件自己的独特名称上,而非其背后的名单。没有文献计量能良好预测辨识;同等引用下高产机构胜出同侪;258个新闻事件上辨识载荷于峰值显著性而非持续性。自报探针显示内省读到的是语料先验而非自身知识。