Prism：用于可扩展多模式连续指令调优的插件式可重复基础设施

多模态 大语言模型 (MLLM) 通过指令调整将不同的任务重新表述为统一的指令跟踪框架，从而实现多功能性。然而，现实世界的部署需要不断适应新出现的任务，从而激发多模式持续指令调优（MCIT）。尽管其重要性日益增加，但当前的 MCIT 研究仍受到严重的工程瓶颈的阻碍。现有方法通常通过直接修改基本 MLLM 代码库来实现，这会带来大量的实现开销，并产生严重限制代码重用和公平比较的特定于方法的架构。为了解决这个问题，我们引入了 Prism，这是一个专门为可扩展的 MCIT 研究而设计的插件可复制代码库。它通过轻量级插件注册机制将算法开发与主干实现分离，使新策略能够作为独立插件集成，而无需修改底层 MLLM 代码库，从而消除结构碎片并加速方法开发。 Prism 本身支持广泛使用的大规模训练管道，从而实现可重复且可扩展的 MCIT 实验。代码可在 https://github.com/LAMDA-CL/Prism 获取。