自回归模型中的总变异距离估计

现代 LLM 部署在固定权重之上使用了许多实现选择和推理优化（例如，批处理、自定义内核和量化），因此服务“同一模型”的两个引擎可以产生有意义的不同分布。我们研究了在三种访问模型下估计两个长度 $n$ 自回归分布与加性误差 $\varepsilon$ 之间的总变异 (TV) 距离的问题。 (1) 在样本访问下，我们使用 $\widetilde{O}(n^2 K/\varepsilon^2)$ 查询，其中 $K$ 是下一个词元分布的最大支持度。这改进了 Meel 等人的 $\widetilde{O}(n^3 m/\varepsilon^5)$-查询估计器。 (2025)，其中 $m \geq K$ 是词元字母表的总大小。 (2) 在 logits 访问下，我们使用 $O(n/\varepsilon^2)$ 查询，这是严格的。 (3) 在嘈杂的 logits 访问下，我们在上述两个保证之间平滑插值：如果将概率值赋予相对误差 $σ$，我们使用 $\widetilde{O}((n+n^2σ^2)/\varepsilon^2)$ 查询。我们通过对算法的实证评估来补充我们的理论结果，例如测量具有相同权重的 SGLang 和 vLLM 之间的距离。我们的实验强调了估计总变异距离的鲁棒性和实用性，在 KL 散度无穷大的情况下，总变异距离仍然是可估计的。我们的代码可在 https://github.com/XunZhiyang/LLM-tv-estimation 获取。