论文
超越Gemini-3-Pro:重新审视大规模LLM路由与聚合
Beyond Gemini-3-Pro: Revisiting LLM Routing and Aggregation at Scale
摘要
大语言模型(LLM)快速进步,其中Gemini-3-Pro树立了新的性能里程碑。在这项工作中,我们探索集体智能作为单体扩展的替代路径,并证明开源LLM的协作可以超越Gemini-3-Pro。我们首先重新审视大规模场景下的LLM路由与聚合,并识别出三个关键瓶颈:(1)当前免训练路由器受限于仅关注文本相似性的基于查询的范式;(2)近期的聚合方法在很大程度上仍是静态的,未能为不同任务选择合适的聚合器;(3)路由与聚合的互补性仍未被充分利用。为解决这些问题,我们引入JiSi,一个通过三项创新释放LLM协作全部潜力的新框架:(1)查询-响应混合路由,同时捕捉语义信息与问题难度;(2)基于支持集的聚合器选择,联合评估聚合器的聚合能力与领域能力;(3)自适应路由-聚合切换,动态利用路由与聚合各自的优势。在九个基准上的全面实验表明,JiSi通过编排十个开源LLM,仅以47%的成本超越Gemini-3-Pro,同时优于主流基线。这表明集体智能代表了通向人工通用智能(AGI)的一条新路径。
