论文

TwistedMerge:经过认证的高阶诊断和模型合并的放弃

TwistedMerge: Certified Higher-Order Diagnostics and Abstention for Model Merging

模型优化模型合并

摘要

模型合并结合了独立训练或微调的模型,但成对对齐并不意味着全局一致的对齐。我们将合并表述为有限下降问题,其中检查点是局部对象,对齐图是过渡,循环积是残差。 TwistedMerge 是一个保守的认证管道,可区分固定图表平均、同步可移除规范不一致、指定比较复合体上经过认证的中心障碍以及非交换完整性。仅在逆一致性、系数识别、中心性和闭合测试之后,残差才会提升为上同调类;否则该方法放弃并返回普通或同步回退。我们证明了恒定边不通过结果、冻结复数三路和预先声明族误差控制定理,以及比较复数灵敏度的细化测试。通过循环一致的同步消除了植入的神经对齐缺陷,这表明仅非零循环分数并不是更高的障碍。受控的中央系统恢复了预测的非共界和投影排名行为,而噪声估计从认证转变为弃权,而没有对测试控制的错误提升。经过训练的低秩适配器审核表明,朴素因子平均取决于所选的 GLr 代表,而全局因子同步和密集增量 SVD 是稳定的。在自然检查点集合上,循环残差不会预测合并退化,并且不会认证自然中心或周期索引类。结果将血统理论定位为可证伪的认证和弃权框架。