HiVe：通过基于层次结构的垂直专家混合超越静态提示进行多任务学习

随着 大语言模型 (LLM) 的不断扩展，参数高效的 微调 (PEFT) 已成为全参数自适应的实用替代方案。提示调整是有效的，但现有方法要么使用扁平提示结构，要么使用具有固定提示组成的分层结构，限制了自适应提示专门化。为了解决这个限制，我们提出了 HiVe，一个提示调整框架，它可以在多个级别上对提示进行建模并实现依赖于输入的专业化。 HiVe 在训练期间利用任务间关系构建提示层次结构，并在推理时采用垂直专家混合 (V-MoE) 机制来组合提示，直至达到每个输入所需的专业化级别。实验表明，HiVe 在不同任务中始终优于强提示调整基线。