用于序列恢复的离散专家的证据对齐局部组合

建模为离散标记序列的文档可以被认为是由来自不同领域的文本组合生成的；例如，自述文件在散文、代码和配置之间移动。当这样的文档被损坏并且只有冻结的领域专家可用时，恢复它需要在测试时确定丢失的内容以及在每个位置信任哪个专家，并且没有区域标签或经过训练的路由器。我们引入了证据对齐的局部组合，它根据给定腐败模型下腐败观察的边际证据推断出对专家的软的、位置明智的加权，根据专家自己的去噪损失估计证据并平滑位置之间的权重。由于权重很软，因此当真正的成分混合时，它会恢复混合物，并在足够时将注意力集中在一位专家身上。在分类模拟器、字节级专家和从 $1.3$B 离散流匹配模型进行微调的专家中，推断的权重在自然混合的科学文档上以 0.85$ 的字段精度跟踪真实区域，在区域词汇不相交的构建的混合物上以 0.98$ 的字段精度跟踪真实区域。当专家真正不同时，恢复会比单个全局权重有所提高，而当专家收敛时，恢复会减少到单一全局权重，并跟踪专家分离的度量。