LiFT：如何实现纵向建模的情境学习

纵向 NLP 任务（例如心理健康监测和立场演变）需要对按时间排序的文本进行建模，以跟踪持久性并检测变化。此类任务还面临数据稀缺的问题，通常涉及罕见事件和稀疏注释的数据。 大语言模型（LLM）可以通过上下文学习（ICL）从少量数据中学习，这在低数据资源场景下尤为重要。然而，当涉及到跟踪不断变化的相互作用或识别罕见事件或变化时，LLM 在零次和少次 ICL 方面均表现不佳。为了解决这一限制，我们引入了 LiFT，这是一种与模型无关的纵向指令 微调 框架，能够在 LLM 中针对纵向任务诱导 ICL 行为。 LiFT 通过利用顺序依赖性、课程学习和时间调节的共享教学模式来统一不同的任务。我们在零次、一次和三次设置下的五个纵向数据集上评估 LiFT，证明 LiFT 在相同 ICL 条件下提供优于 IFT 模型的性能。此外，我们证明 LiFT 可以为少数群体带来更大的收益，有意义地关注最近的演示历史，并开发超出其训练任务的可转移纵向建模能力