Soft-NBCE：长上下文的熵权块融合

自注意力的二次复杂度仍然是 大语言模型 (LLM) 处理超长上下文的瓶颈。朴素贝叶斯认知引擎 (NBCE) 通过在每个解码步骤对文档进行分块并路由到最低熵块来并行化长上下文推理。这种硬选择策略会在跨块推理过程中导致语义碎片，因为相邻标记之间的突然路由变化会破坏模型的上下文基础。我们提出了 Soft-NBCE，这是一种轻量级扩展，用软熵加权块融合代替离散块选择。基于预测熵的温度缩放 Softmax 为所有块分配连续权重，从而实现跨块条件分布的对数空间聚合。为了部分补偿分块引入的条件独立假设，我们提出了一致性 蒸馏，这是一种基于 LoRA 的自 蒸馏，它通过 KL 散度将分块 logits 分布限制为全上下文教师。在 LongBench 多跳基准测试中，具有一致性 蒸馏 的 Soft-NBCE 比 NBCE 式基线（MuSiQue F1：0.310 vs.\ 0.275，Vanilla NBCE；HotpotQA F1：0.479 vs.\ 0.427）持续改进，同时保持检索精度（NIAH-32K：0.909） O(L^2/n) 峰值内存。