论文

对冻结代理进行分类而非回归的有界角色匹配检索

Bounded Personas Match Retrieval on Classification but Not Regression for a Frozen Agent

上下文与知识上下文工程

摘要

个性化语言代理必须在推理时将用户的交互历史记录转换为针对每个新请求的行为。有两种策略占主导地位。检索将用户过去最相关的一些项目拉入提示中,这是准确的,但会支付随着历史记录而增长的每个查询选择和上下文成本。相反,蒸馏 将历史记录一次压缩为紧凑的自然语言角色,该角色是有界的、独立于查询且可解释的,但广泛认为会牺牲准确性。提炼的角色是否可以匹配检索以及在哪些任务上可以匹配检索还没有明确的特征。我们引入了 PersonaLink,这是一种 无需训练 方法,它将用户的历史记录提取为有界的三字段角色,并递归地对其进行细化:每次传递都会在用户自己的标记历史记录的保留切片上自我评估冻结的代理,根据其错误重写角色,并且仅当它不在该切片上回归时才保留结果。由于每次比较都共享一​​个冻结的 7B 主干,并且仅在上下文中放置的内容不同,因此该设计将表示的效果与模型的效果隔离开来。结果是明显的任务类型不对称。在 LaMP-2(15 路新闻分类)的 200 个用户上,PersonaLink 达到 0.745-0.755 的准确率,在统计上与 BM25 检索 (0.760-0.765) 没有区别。