PSD：通过伪自蒸馏让小模型学习Agent记忆构建

记忆系统正成为大语言模型Agent的核心组件，但反复调用大型闭源模型来构建和维护记忆，成本较高，阻碍规模部署。伪自蒸馏（PSD）通过多阶段训练，把强黑盒模型的行为蒸馏给小语言模型，使其构建分层记忆表示。常规蒸馏需要教师logits或隐藏状态，而闭源模型不公开这些信息。PSD并非只从模型自身预测、采样轨迹或聚合输出中获得监督，而是经提示词引入外部黑盒模型知识，同时保持单模型蒸馏设置。同一个小模型承担两种角色：教师读取含黑盒模型答案作为参考上下文的特权提示，学生只读取任务提示。学生学习教师的输出分布，无需访问黑盒模型内部，即可把受其引导的行为吸收到自身权重。在LoCoMo下游检索中，PSD训练的Qwen3-0.6B、1.7B和4B达到或超过GPT-4.1-mini，部署成本更低；离策略PSD在多数条件下最好。尽管学生只在LoCoMo上训练、未接触LongMemEval，其记忆构建能力仍能迁移到LongMemEval。