学习任意文本调节：超网络驱动的元门控 LLM

传统的LLM可能会遭受语料库异质性和微妙的条件变化的影响。虽然微调可能会产生灾难遗忘问题，但由于其复杂性和可扩展性，元学习在 LLM 上的应用也受到限制。在本文中，我们激活 SwiGLU 块内的 $β$ 元信号，从而产生自适应调整 FFN 非线性的元门控机制。采用超网络根据文本条件动态生成 $β$，从而在 LLM 上提供元可控性。通过对不同的条件类型（例如任务、领域、角色和风格）进行测试，我们的方法优于微调和元学习基线，并且可以合理地概括未见过的任务、条件类型或指令。我们的代码可以在 https://github.com/AaronJi/MeGan 中找到。