论文

扩展模块化AI系统中的参与度

Scaling Participation in Modular AI Systems

模型架构新型架构

摘要

人类是多方面人才和需求的集合体,任何真正智能的人工智能都必须反映这种丰富性。然而,所有人使用的大语言模型都是由少数人建立的——一个由单一人工智能模型组成的集中市场,在结构上不适合捕捉人类知识、推理和价值观的多样性。在这里,我们引入了扩展参与,这是一种新的范式,其中模块化人工智能系统是通过不同利益相关者的贡献自下而上构建的。参与者贡献根据自己的兴趣和优先事项进行训练的小模型;然后,这些模型在模块化框架中作为组合人工智能系统进行协作。参与式人工智能系统在推理和事实性等 15 项任务中比单一大语言模型的表现高出 15.4%,超过了比所有贡献组件总和还要大的模型。进一步的实验表明,参与式人工智能系统受益于贡献者的多样性,大大提高了每个贡献者最初的优先级,并展现出新兴的能力,使它们能够解决超过 15% 的所有单个模型都失败的问题。扩大参与度为从单一现状转向开放、自下而上和协作的人工智能未来提供了技术基础。

扩展模块化AI系统中的参与度:论文配图
图 1:人工智能开发的四种范式概述。 1)单一密集大语言模型的开发没有模块化或参与:它们采用整体神经架构,并且由单个组织单独开发。 2)专家混合大语言模型采用模块化模型架构,但所有模块化组件仍然由单个实体单独开发。 3) Marin Marin Community (2025) 等举措在模型训练流程中采用参与式方法,而所有努力最终都合并为一个单一的整体模型。 4)我们的工作独特地支持参与式人工智能,特别是扩大对模块化人工智能系统的参与:参与者贡献专门的语言模型以自下而上构建模块化系统,不同的利益相关者将在自下而上人工智能开发的未来范式中拥有发言权。