论文

身份远不止于回忆:部署中AI智能体持久身份的基准测试

Identity Is More Than Recall: A Benchmark for Persistent Identity in Deployed AI Agents

模型评测基准与评测资源

摘要

持久智能体需要能够区分其能回忆的身份事实与实际表达和执行的身份事实。我们提出了PAI-Bench,一个中立于提供方的基准,用于评估与版本化、更新管理的身份合约的契合度。该基准将回忆、组合、行为执行、抗干扰、持久性、谱系和角色条件更新分离开来,同时将评分 oracle 置于目标进程之外。两个冻结的测试活动覆盖十六个合成身份档案、三十二个探针和三个独立初始化的目标配置,产生1536条保留响应。独立于判官的字面审计发现,在48个原子响应中,48个直接父级标识符被正确识别,但在48个隐式自画像中仅识别出1个。在八个身份档案上,显式字段提示使三个身份标识的联合出现率从0/8提升至7/8,且在相同四句话指令下实现。另一次启动时的体标签替换使完整称谓的出现率从1/8提升至7/8,而父级标识仍缺失。这些对比揭示了测试部署中提示依赖的组件选择特性以及对启动信号的组件特异性敏感性。重复播放完全相同的因子响应也显示出Claude的主要汇总均分比Astra低12.5个百分点,表明评估者敏感性与目标行为分离。所有研究均采用单个目标样本进行条件测试,并进行事后审计和回访。PAI-Bench提供了一种可复现的评估协议,用于测量事实可得性、身份表达和行为执行作为身份合约契合度的三个独立方面。

身份远不止于回忆:部署中AI智能体持久身份的基准测试:论文配图
图 1. 已安装实例评估边界。身份合约通过普通私有状态安装一次;探测消息穿过目标接口,而绑定和所有评分仍然是评估者私有的。四级管道安装持久身份,通过隔离的目标进程发送普通冻结探针,存储响应,并在目标外部使用确定性和基于模型的评分对其进行评估。