用户端内存中的基底不对称性:诊断框架
Substrate Asymmetry in User-Side Memory: A Diagnostic Framework
摘要
LLM 中的用户端内存通常被评分为单个“个性化”功能:给定用户的历史记录,输出是否更能感知用户?我们证明这个聚合指标隐藏了相反方向的故障。记忆至少分解为三个正交轴——行为一致性(风格、声音)、事实存在(回忆历史事实)和事实缺席(当事实不存在时放弃)——没有一个单一的基质能够赢得这三个轴。将每用户 gamma-LoRA(一个针对每个用户的历史进行训练的小型 LoRA 适配器;gamma 表示每个用户,而不是每个任务)与受控 50 个用户合成语料库和真实数据探针 (LaMP-3) 上的 BGE-大型密集 top-K 检索进行比较,我们发现 gamma-LoRA 决定性地赢得了行为风格,而 RAG 决定性地赢得了事实缺席——并且注意层 21-35 中的相同查询投影单元因果关系负载承受相反方向的两种效应(将这些 LoRA 权重归零会使缺席探针 TPR 提高 +33 pp,并使存在探针 TPR 下降 20 pp)。在经过更严格的 RLHF 调整的 Llama-3.1-8B-Instruct 上,不对称性加强了,而不是治愈了:参数记忆的行为优势崩溃了,而其针对检索的缺席校准赤字扩大了——对参数用户记忆的对齐税。在真实数据 LaMP-3 上,gamma-LoRA 的表现低于大多数基线; 9 条件缓解扫描将其诊断为指令跟随崩溃,而不是基板故障(9x2 叉积显示评估时间 {1..5} logits 掩码在每个配方上将 main_acc 驱动到 >=0.995),并且最佳训练时间修复在 Llama 上以位相同的方式复制。最后,基质选择路由是问题分类,而不是校准:仅针对问题文本的 110M DistilBERT 就击败了所有基于 logits 的路由器。我们提供诊断框架、诊断的真实数据阴性、对齐税复制和路由分类结果。