论文
基于logits重分配的AI模型调制
AI Model Modulation with Logits Redistribution
摘要
大规模模型通常需要经过适配以满足模型所有者与用户的多样化需求。然而,维护多个专门版本效率低下。为此,我们提出AIM,一种新型模型调制范式,使单一模型展现多样行为以满足特定最终需求。AIM支持两种关键调制模式:效用调制与聚焦调制。前者让模型所有者能动态控制输出质量以提供不同效用等级,后者让用户能精确控制以移动模型聚焦的输入特征。AIM引入一种logits重分配策略,以与训练数据无关且免重训练的方式运作。我们基于联合概率分布下logits排序的统计特性,为AIM的调控能力建立了形式化基础。我们的评估证实了AIM在AI模型调制上的实用性与通用性,任务涵盖图像分类、语义分割与文本生成,架构包括ResNet、SegFormer和Llama等主流模型。
