FedAlphaEdit：用于协作知识编辑的零空间对齐合并

多个机构可能各自拥有自己的私有知识编辑，并希望将它们集成到单个大型语言模型中，而不共享原始编辑请求。零空间约束的编辑方法（例如 AlphaEdit）在数学上保证每次更新都保持不相关的知识完好无损，而协作框架（例如 CollabEdit）则聚合来自多个客户端的编辑，而无需数据共享。将两者结合起来显得微不足道。然而，我们表明这种简单的组合在结构上失败了，并且我们确定了其原因。以此分析为指导，我们提出了 FedAlphaEdit。据我们所知，这是第一个协作知识编辑框架，它在单一零空间原则下对齐本地编辑和服务器端合并规则，以保留现有知识。 FedAlphaEdit 建立在零空间对齐合并的基础上，其中客户端共享预计的统计数据，并且服务器可以证明在一次性理想化下在一个地方编辑所有内容的结果。根据经验，所提出的方法修复了崩溃并带来了编辑成功和 同时保存接近两个架构系列的集中编辑水平。因此，FedAlphaEdit 让无法共享原始编辑数据的机构（例如医院和金融公司）共同维护一个共享模型，该模型非常近似于在一个地方编辑所有事实。