论文

ProfileFoundry:用于 LLM 代理中的隐私、内存和工具使用评估的合成人-对象基底

ProfileFoundry: A Synthetic Person-Object Substrate for Privacy, Memory, and Tool-Use Evaluation in LLM Agent

模型评测基准与评测资源

摘要

基础模型研究越来越需要有关人的数据:用户状态、个人历史、关系、类似联系人的字段、文档和纵向更新。真实的用户数据很难以负责任的方式共享、扰乱、审计或重新分发,而独立生成的虚假字段很少保留受控评估所需的跨字段和时间一致性。我们推出了 ProfileFoundry,这是一个确定性生成器和固定参考版本,涵盖八个区域的 100,000 个成人合成人物对象。每个对象都结合了类型化的当前快照、家庭、家庭和雇主链接、快照对齐事件、规范化关系视图和生成来源。该版本包含 709,228 个事件、40,338 个家庭、52,491 个雇主和 518,564 个有向关系边。我们报告不同类别的证据:选定的群体边缘比较、每个对象的不变性检查、发布范围内的参考和时间闭合以及巧合/出处筛选。 MatchDesk 是一项试点案例研究,它使用经过认证的巧合、类型化事件和历史截断来评估模型是否能够区分经证实的身份证据和不确定的匹配。 ProfileFoundry 不是人口保真度模型、渲染文本语料库或正式的隐私机制。相反,它是一个负责任的合成源层,用于构建涉及内存、隐私、文档理解、记录链接和代理状态的下游基础模型评估,同时保持每个工件背后的合成人可检查。