跨异构任务的自进化 LLM 内存提取

随着基于 LLM 的助手变得持久和个性化，他们必须从过去的对话中提取并保留有用的信息作为记忆。然而，不同任务中值得记住的信息类型差异很大。我们形式化了 \textit{异构内存提取} 任务，并引入了 \textbf{BEHEMOTH}，这是一个基准，它重新利用了涵盖个性化、问题解决和代理任务的 18 个现有数据集，使用下游实用程序驱动的指标进行系统评估。我们的实证分析证实，没有单一的静态提取提示在所有任务类别中占主导地位，并且最初为同质分布设计的现有自我演化提示优化框架在训练任务异构时会退化。为了解决这个问题，我们提出了 \textbf{CluE}，一种基于集群的自进化策略，通过提取场景将训练样本分组为集群，独立分析每个集群，并综合跨集群见解来更新提取提示。 BEHEMOTH 上的实验表明，CluE 可以有效地跨异构任务进行泛化（相对增益 $+$9.04\%），始终优于之前的自我进化框架。