PII-TRACE：多轮 LLM 对话中上下文感知 PII 检测的基准

LLM 助理和代理系统会记录长时间的多轮对话。人工智能提供商通常会扫描这些对话中的个人身份信息 (PII)，并在存储或处理对话数据之前屏蔽 PII。然而，大多数 PII 检测器和基准测试的目标是独立记录，而不是交叉评估。为了评估多回合对话中的跨回合 PII 检测，我们引入了 PII-TRACE（跨对话交流跟踪重复出现的 PII），据我们所知，这是第一个 PII 基准，用于评估检测器是否在对话上下文中识别 PII，并涵盖跨回合重复出现的标识符的每次提及。 PII-TRACE 包含 13 种语言的 13,148 个合成多轮对话，具有字符级跨度和标识符簇。在包括前沿大语言模型在内的 11 个基线中，没有检测器能够在无 PII 的对话中不出现大量误报的情况下实现完整的实体级覆盖，并且单遍阅读会在长对话中丢失三分之一的黄金字符。为了缩小这一差距，我们引入了 PII-Tracer，这是一种经过对话级监督训练的紧凑型 0.6B 参数检测器。 PII-Tracer 在我们评估的所有系统中实现了最高的实体级覆盖率，并且在标准单记录基准测试中也表现出色。