论文
设计即信任:面向透明、成本感知LLM路由的技能画像
Trust by Design: Skill Profiles for Transparent, Cost-Aware LLM Routing
摘要
大语言模型(LLM)从业者应如何为任务选择合适的模型而不浪费资金?我们提出BELLA(Budget-Efficient LLM Selection via Automated skill-profiling),一个通过可解释的基于技能的模型选择、为任务推荐最优LLM选择的框架。标准基准报告的是汇总指标,掩盖了任务究竟需要哪些具体能力、以及更便宜的模型是否已经足够。BELLA通过三个阶段弥合这一差距:(1)分解LLM输出,并利用基于评论者(critic)的画像提取所需细粒度技能;(2)将技能聚类为结构化的能力矩阵;(3)通过多目标优化选择合适的模型,在遵守预算约束的同时最大化性能。BELLA为推荐提供自然语言理由,提供了当前黑盒路由系统所缺乏的透明度。我们描述了该框架的架构,将其置于LLM路由与评估的整体图景之中,并讨论其在金融推理上的应用——这是一个代表性领域,展示出多样的技能需求与模型间的成本差异。我们的框架使从业者能够为部署LLM做出有原则的成本—性能权衡。