分解 LoRA 架构的演化混合:路由杠杆、生命周期惩罚和底层条件边界
Decomposing Evolutionary Mixture-of-LoRA Architectures: The Routing Lever, the Lifecycle Penalty, and a Substrate-Conditional Boundary
摘要
我们将一个从头开始的 ~150M 参数加宽 D 基底(D=1536,V=32000;D/V 约为 0.048;“加宽 1536”基底)上的进化混合 LoRA 系统分解为三个因素 - 路由器重写(具有可学习每个适配器底线和有界温度退火的并行 sigmoid 门,馈送堆栈后隐藏状态而不是词元嵌入方式),每个域的留一评估范围,以及死亡生命周期加上 alpha 混合继承加上 SVD 突变加上槽重新分配 - 并报告在 n=3 种子和每个单元 25000 个适应步骤的 5-of-8 部分 2^3 阶乘运行。在此基底上的归因链很清晰:路由器重写带来了整个 +0.0426 nat 平衡 log-PPL 改进(Delta = log PPL_ref - log PPL_test,正 = 改进;t=12.86,p=0.006)归因于“完整进化系统与静态 B3 基线”;标题全系统与 B3 平衡对比度本身为 +0.015 nat,t=1.94,p=0.19(n=3),并且不明确 alpha=0.05。每个域的评估范围在种子分辨率下为空,生命周期的净阻力约为 -0.028 nat(主链中 t=-4.46,p=0.047)。 n=3 种子的辅助 alpha=0 继承反事实在标题指标上是符号不一致的,并且对于等价或承载结论而言动力不足(从错误地清除继承的早期算术平均聚合器中纠正;参见附录 B.11)。基础扰动探针定向反驳生命周期角色的“基因组背景”重构。可控的合成沙箱定位了基底条件机制边界:仅当适配器与任务预先对齐时,路由通道上的进化搜索才是承载的;在测试的所有其他方案中,它都表现不佳、平局或主动降低梯度解决方案的性能。