论文
CS-WCP：用于具有不确定群体比例的大语言模型法官流量转移的鲁棒保角集
CS-WCP: Robust Conformal Sets for LLM-Judge Traffic Shifts with Uncertain Group Proportions
摘要
由大语言模型法官构建的预测集可以发现部署流量何时改变任务或策略组的流行程度。当密度比已知时，加权共形预测在协变量偏移下是准确的，但通常必须根据有限的未标记样本来估计组比例。我们引入了置信集加权共形预测（CS-WCP），它为源组和目标组质量构建同时精确的区间，并返回每个兼容比率向量上的加权共形集的并集。对于固定或独立学习的有限分区，CS-WCP 的覆盖范围至少为 1-alpha-delta_w-tau_A-kappa，其中 tau_A 测量单元内协变量失配，kappa 测量条件移位。线性端点规则在 O(G|Y|) 时间内计算鲁棒并集。在 336 个构建的共享支持流量转移中，CS-WCP 达到 0.973 的平均覆盖率，有 13 个点故障，而源共形预测的平均覆盖率分别为 0.954 和 44 个点，平均二进制集大小为 1.74 和 1.65。在 336 个自然跨任务传输中，覆盖率从 0.882 上升到 0.962，但平均集大小达到 1.87，并且大小匹配的组插件基线具有竞争力。因此，该方法在不确定的混合物权重下提供了可审计的覆盖保障；它的值是保守的尾部保护，而不是标量概率校准或均匀较小的集合。