MODF-SIR：面向社会智能推理的多智能体全模态蒸馏框架

我们提出了一个基于轻量级多模态大语言模型（MLLM）的多智能体协作框架，专为社交智能推理而设计。我们方法的一个关键特征是训练和推理阶段都通过知识蒸馏得到增强。在该架构中，与社交智能相关的多模态数据被精确本地化。此外，相关的长尾事件被识别、提取并呈现为格式化的显式文本。这种格式化策略可以防止关键的长尾信息在标记化过程中被头部事件和环境噪音所掩盖。具体来说，我们将测试时间适应（TTA）集成到整个推理流程中，包括长尾事件的提取和表示、思想链（CoT）提示和自我反思。这种 TTA 机制也是蒸馏增强的，利用低秩适应 (LoRA) 专门针对实例级推理来微调基础模型。跨多个基准对各种开源和专有人工智能模型的广泛评估证明了所提出框架的有效性。利用 IntentTrain 中约 30% 的训练数据，我们取得了最先进的结果。代码可在 https://github.com/eeee-sys/MODF-SIR 获取，演示可在 https://huggingface.co/spaces/Harry-1234/MODF-SIR 获取，LoRA 可在 https://huggingface.co/Harry-1234/MODF-SIR 获取，训练路由器的数据集可在 https://huggingface.co/datasets/Harry-1234/IntentRouterTrain 获取。