论文
联邦嵌套学习：用于测试时间适应的自参照记忆协作训练
Federated Nested Learning: Collaborative Training of Self-Referential Memories for Test-Time Adaptation
摘要
我们从嵌套学习的角度重新思考联邦学习（FL），将核心挑战定义为如何协作学习优化规则（而不仅仅是静态模型）来处理非独立同分布客户数据。为了解决这个问题，我们提出了联邦嵌套学习（FedNL），这是一种新颖的框架，它将 FL 重新表述为三级嵌套优化系统。 FedNL 将基于 Titans 的线性注意力嵌入到 FL 中，使客户能够通过将 delta 规则视为在线梯度步骤来执行轻量级、零样本测试时间适应。在 Non-IID MMLU 和长上下文基准上的实验表明，FedNL 在短上下文推理中实现了有竞争力的性能，增强了长上下文检索和流式交叉熵的性能，并保持恒定的推理内存。