重新思考基础模型协作：通过代理任务推理增强专业模型

基础模型越来越多地集成到实体智能系统中，但直接为其分配结构化预测任务需要精确的几何和数值估计，而专业模型通常仍然更强大。这种能力不匹配提出了一个关键问题：基础模型是否应该取代特定于任务的预测器，或者它们是否应该通过更符合其优势的任务进行协作？我们提出了 FAT，一种基础模型增强的特定任务推理框架，它将协作视为任务分解而不是模型替换。 FAT 将结构化预测分解为专业预测、信息空间重建和基础模型代理推理。专家在本机输出空间中生成几何和物理上有效的假设，而基础模型在重建的多模态候选对象上执行有界代理任务，例如选择或验证。我们用视觉语言模型将这一原理实例化为 ProxySelect。在 2D 对象检测、3D 对象检测、轨迹预测和语义分割中，ProxySelect 持续改进专业基线，并以较低的计算成本显着优于直接基础模型回归。这些结果提出了一个通用的协作原则：专用模型保留特定于任务的结构，而基础模型通过上下文代理推理完善其假设。