论文
PersonaEdit:个性化模型编辑的代表性样本选择
PersonaEdit: Representative Sample Selection for Personalized Model Editing
摘要
个性化引起了人们对 LLM 应用程序越来越多的兴趣,但现有的基于检索的方法在很大程度上依赖于检索质量和长期交互中的退化。模型编辑直接修改内部模型参数以融入新知识,在事实知识编辑任务中展示了有效的知识修改能力,并可能为个性化提供潜在的解决方案。然而,将模型编辑扩展到个性化并非易事。编辑大量用户数据会增加计算成本并导致编辑之间的干扰,从而激发了对有效样本选择的需求。为了解决这个问题,我们提出了 PersonaEdit,一种隐藏表示聚类策略,通过比例分层采样选择代表性编辑样本。实验表明,模型编辑对于个性化是有效的,并且我们的选择策略保留了大部分性能,同时大大减少了所需编辑样本的数量。除了独立编辑之外,我们发现将模型编辑与基于检索的提示增强相结合可以进一步改善个性化,因为编辑的知识和检索的上下文提供了补充信息。这些结果证明了模型编辑作为 LLM 个性化的高效且可扩展的方法的潜力。