EntroPrefill：带条件稳定性约束的RAG预填充裁剪

在预填充中途剪枝，可以减少更深Transformer层处理的序列长度，但仅凭注意力集中并不能证明丢弃的上下文不重要。我们将EntroPrefill定义为一种由Rényi统计引导的候选裁剪机制，同时对丢弃的注意力质量施加显式约束。隔离注意力汇聚Token并正则化的注意力头汇聚方式兼容分组查询注意力，同时揭示专门化程度与最差注意力头覆盖之间的定量取舍。我们推导从混合汇聚到单头的删除包络、可计算的可行Token删除上界，以及即使自适应选择剪枝层仍成立的有限样本观察保证。随后建立条件性的Transformer扰动界，给出充分的显式Lipschitz常数，并推导首个Token的决策间隔结论。一个反例说明，仅靠浅层观测不能推出对未来输出的无条件保证。系统分析区分查询头并集、物理页面分配和KV传输负载，并给出剪枝在计算上达到盈亏平衡的条件。本文范围限于理论：定义过程、假设和形式边界，没有报告实测加速或任务准确率保留。实验留待后续验证假设、近似界的紧致性以及端到端资源取舍。