论文

HyperTrace:基于假设的偏好追踪,用于在线 LLM 个性化

HyperTrace: Hypothesis-Based Preference Tracing for Online LLM Personalization

摘要

个性化语言模型旨在适应个人用户的反应,他们的偏好通常是潜在的,并通过交互逐渐显现出来。现有的 无需训练 方法依赖于存储的历史或检索的记忆,但它们常常难以协调长期偏好与短期特定主题的需求。为了解决这个问题,我们提出了 HyperTrace,这是一个 无需训练 框架,它将在线个性化制定为潜在偏好跟踪。 HyperTrace 维护关于短期意图和长期偏好的可解释自然语言假设,并使用基于 LLM 的代理选择模型通过 SMC 式重新加权过程来更新它们。通过跨回合和会话更新这些假设,HyperTrace 无需更新参数即可实现个性化。 PRISM 和 PersonaMem-v2 上的实验表明,与强大的在线基线相比,HyperTrace 改进了响应对齐、偏好预测和配置文件一致性,证明了跟踪潜在用户偏好以实现稳健个性化的有效性。代码和脚本可在存储库中找到:https://github.com/jiseshen/HyperTrace。