通过在线序贯测试识别智能过程

主动序贯假设检验研究如何在给定一组感知动作的条件下识别一个未知假设。我们在识别大语言模型（LLM）的场景中研究这一问题，即：如果用户正在与一个来自已知模型集合的LLM对话，他们如何识别出正在使用的是哪一个？这里，可用的感知动作（评测）本身就是一个设计选择：评测者必须先决定构建哪些环境与提示族，然后才决定如何序贯地使用它们。我们将这两个层次形式化为外层探针设计问题与内层识别问题。简言之，外层阶段选择一组要发送给全部候选模型的探针，生成一种指纹数据集；随后的内层阶段序贯发送预算最小化的探针子集来识别使用中的模型。对于外层问题，我们证明以最小成本选择要构建的评测、使得每一对候选都能被区分，恰好是一个加权集合覆盖问题。由于候选模型的响应分布并非精确已知、只能通过校准样本获得，我们给出一个从这些样本估计覆盖实例的一次性流程。对于内层问题，我们依据可用评测区分每一对候选的程度，给出识别未知模型所需评测数量的界。