论文
PMD：面向LoRA外部参数记忆的零样本路由
Parametric Memory Decoding for Zero-Shot Routing in LoRA-Based External Parametric Memory
摘要
随着参数存储器的兴起，基于 LoRA 的外部参数存储器 (EPM) 已作为模块化解决方案出现，但现有的路由方法往往会带来额外的训练、部署和维护开销。这就提出了一个自然的问题：基于 LoRA 的 EPM 组是否可以在不维护额外路由组件的情况下进行路由？然而，现有的零样本LoRA路由方法在EPM设置下仍然面临两个问题：（1）它们的评估分散在不同的任务设置中，而不是围绕EPM访问进行组织；（2）它们的路由信号缺乏统一的视角来指导系统改进。为了解决这些问题，我们组织了 PMD-Bench，涵盖文档级、领域级知识和任务技能，并提出参数化内存解码 (PMD)，这是第一个旨在通过将零样本 LoRA 路由重新定义为外部参数化内存上的解码激活来系统地改进零样本 LoRA 路由的框架。基于 PMD，我们进一步实例化 PMDRouter，它根据单个基本模型预填充的响应幅度对每个 LoRA 进行评分。 PMD-Bench 上的实验表明，PMDRouter 在多个零样本路由设置中实现了最强的内部信号性能。这些结果证明了零样本 LoRA 路由的可行性，并表明 PMD 可以作为改进零样本路由方法的通用框架。来源：Github (https://anonymous.4open.science/r/Parametric-Memory-Decoding-872A/)