可微的高效算子搜索

高效的多模态基础模型通常依赖于手动设计的词元缩减算子，例如剪枝、合并、池化和自适应重新加权。尽管这些运算符看起来不同，但我们表明它们可以被解释为共享运算符空间的不同机制。基于这个观点，我们引入了高效算子搜索（Efficient Operator Search），这是一个可微的框架，它联合搜索在哪里减少词元、保留多少词元以及应该如何处理减少的词元信息。所提出的搜索空间参数化层激活、保留预算和操作员行为，而搜索策略在单方面预算和成本约束下优化任务性能。该公式将代表性的手工设计基线恢复为特殊情况，并进一步发现超越孤立手工设计的混合算子。多模态基准实验表明，搜索的算子实现了有竞争力的准确性与效率的权衡，特别是在积极减少视觉标记的情况下。这些结果表明，有效的多模态推理可以从手动算子设计重新构建为可微算子搜索。