ProTTT：通过测试时训练学习语义用户记忆

个性化需要语言模型从不断增长的用户历史记录中捕获特定于用户的知识。随着用户历史记录的积累，现有的基于上下文的方法会导致推理成本不断增加，并且依赖于单独的检索或汇总阶段，而基于参数的方法通常需要在添加新用户数据时重建用户表示。我们介绍 ProTTT，一个用于学习语义用户记忆的配置文件监督元学习框架。记忆构造从共享初始化开始，并通过用户历史记录的测试时训练为每个用户进行更新，使其能够随着历史记录的增长而不断发展。然而，由于单独的测试时训练并不能明确鼓励记忆捕获个性化所需的语义用户知识，因此我们使用文本用户配置文件作为监督来学习这种共享初始化，以便对用户历史记录的测试时训练更有效地捕获语义知识。 ProTTT 在不同的基准测试中始终优于完整历史 ICL 和所有参数基线，同时通过将用户历史压缩到轻量级参数化记忆中来大幅降低推理成本。我们的分析还表明，个人资料监督是学习语义用户知识的可靠目标，并且由此产生的记忆可以跟踪和保留不断变化的用户偏好，同时在不同的历史规模中保持稳健。总体而言，我们展示了个性化测试时训练的有效性，并将 ProTTT 建立为不断发展的用户记忆的基线。