论文

词元计数不是模型谱系:黑盒 LLM API 指纹识别的冻结阈值保留研究

Token Counts Are Not Model Lineage: A Frozen-Threshold Holdout Study of Black-Box LLM API Fingerprinting

模型评测评测方法与指标

摘要

当 大语言模型 (LLM) 通过中继和经销商 API 提供服务时,黑盒模型归属变得越来越重要。一个诱人的低成本信号是 OpenAI 兼容端点返回的提示词元计数:共享词元​​生成器和聊天模板的两个模型可能会产生相同的计数序列,最多可达固定偏移量。然而,这一信号对于更广泛的 \emph{model-family} 归因的有效性几乎没有经过直接的坚持测试。我们对 24 个标记的端点对进行了冻结阈值研究,将其均匀地分为开发集和未触及的保留集,每对有 3 个时间重复和 30 个受控文本。我们引入了一种有效性门控结果合约,该合约将观察到的差异与由于丢失使用数据、速率限制或端点策略而导致的无信息测量区分开来。由此产生的平移不变的精确匹配分数完美地区分了 12 个开发对,产生了 0.725 的冻结阈值。然而,在坚持抵制的情况下,12 对中只有 6 对符合预先指定的三次重复规则。在符合条件的配对中,平衡准确度为 0.75,灵敏度为 0.50(95\% Wilson 区间 0.15--0.85),特异性为 1.00(0.342--1.00)。两个同系对——Qwen 3.8 和 DeepSeek V4 变体——跌破了冻结阈值。在 4,320 个正式 API 调用中,每个日志都是可重播的,而保留包含 189 个非 200 响应和 157 个不使用提示词元的成功响应。因此,该研究验证了词元计数一致性作为共享\emph{词元化堆栈}的指纹,但拒绝将其用作模型系列谱系的独立必要测试。