学习预测权重更新的分布以适应测试时间

超网络最近在基于任务描述或附加演示等信号在运行时动态调整大语言模型 (LLM) 参数方面取得了成功。这里我们问：仅使用 LLM 的输入查询可以获得多少适应信号？为了回答这个问题，我们研究了用于 LoRA 估计的查询条件超网络。此外，我们引入了分布式超网络，它不仅能够生成参数适配器的点估计，还能生成可能的 LoRA 上的分布。为此，我们提出使用可微蒙特卡罗近似的简单端到端损失，并探索包括回归和凸组合变体在内的多种分布参数化。结果表明，即使使用学习分布的平均值也可以优于确定性超网络。至关重要的是，学习到的分布实现了不同形式的测试时计算扩展：我们不再仅通过从固定模型中采样更多词元序列来花费额外的计算，而是对权重更新进行采样，从而为同一查询生成多个适应模型。随着考虑更多的权重样本，性能会提高，并且仍然比相应的词元采样自适应基线更强。最后，我们发现生成的更新可以跨查询传输，这表明超网络学习模型应如何适应的可重用结构。总之，这些结果表明，权重更新的查询条件分布可以支持适应和测试时计算扩展。