ContextEcho：长时间代理编码会话中角色漂移的基准

前沿语言模型公认的“有用的编程助手”角色无法在生产产品实际运行的部署机制中长期进行代理编码会话。经过数小时的使用工具调试后，最初对冲偏好（“我没有偏好”）的模型可能会开始断言它们（“Python - 反馈循环是即时的......”），揭示部署者评估可能会错过的用户可见的漂移。现有的角色稳定性研究侧重于简短的对话，几乎没有报告变化，使得现实世界的代码生成机制——数千次工具使用轮次、压缩和长达数小时的会话——基本上没有特征。我们介绍 ContextEcho，这是一个基准和可重复使用的工具，用于测量部署规模的角色漂移。它结合了 25 个探针身份套件、在不干扰主会话的情况下分叉会话状态的快照-探针协议、互补的判断和无判断测量表面，以及跨越 3,746-9,716 轮的三个匿名 Claude 代码会话。在 23 个前沿模型中，ContextEcho 表明角色漂移在组织中是普遍存在的，而不是特定于家庭的，会话中压缩不能可靠地重置它，并且单次锚点可以恢复跨测量目标的训练注册。它还揭示了与模式相关的下游效应：虽然漂移可以促进工具使用的延续，但在无工具聊天中，它会破坏格式约定并增加输出长度。总体而言，ContextEcho 为研究人员和部署人员提供了一个开源框架，用于审核模型附带的角色是否是用户在会话结束时遇到的角色、跨聊天完成 API 目标且无需重新训练。