论文
Modelpedia:人工智能元科学模型发现目录
Modelpedia: A Catalog of Model Findings for the Meta-Science of AI
摘要
有关人工智能模型的科学知识的产生速度快于社区组织的速度。每隔几个月,就有一个新的基础模型重塑该领域,数百篇论文、博客和技术报告记录了每个模型的行为或失败情况。然而,这些发现仍然分散且无法有效检索。为了解决这一差距,我们提出了 Modelpedia,这是一个自动化的、LLM 辅助的框架,它从已发表的论文中提取有关模型的发现,将其链接到它所关注的模型、数据集、方法和概念,并将结果聚合到可搜索的公共目录中。将原型应用于已接受的 ICLR 2024 和 2025 论文,我们提取了一千多个发现,并将目录本身视为研究对象,对社区如何研究模型进行荟萃分析。现在,我们邀请社区探索、贡献和构建开放目录,并帮助建立模型发现作为人工智能元科学的共享基础。