论文
AnyEdit++:基于贝叶斯惊异的自适应长文本知识编辑
AnyEdit++: Adaptive Long-Form Knowledge Editing via Bayesian Surprise
摘要
由于难以保持生成连贯性,在大型语言模型中编辑复杂的长篇知识仍是一项重大挑战。像AnyEdit这样的现有自回归方法缓解了长度限制,但依赖固定窗口分块,无视逻辑结构并损害一致性。为解决这一问题,我们提出AnyEdit++,一个结构感知框架,它整合了Bayes-Chunk——一种基于贝叶斯惊异(Bayesian Surprise)动态识别语义边界的自适应分段机制。我们以一个理论框架支撑该方法,确立两条关键原则:(1)结构独立性:我们证明当锚键几何正交时段间干扰最小(我们基于惊异度的边界自然满足该条件,而固定窗口则违背它);(2)因果局部性:我们证明在这些语义峰值处注入的更新相比任意分割点能带来严格更优的控制。跨数学推理、代码生成和叙事任务的大量实验表明,AnyEdit++相较最先进基线取得了更优的性能和鲁棒性,验证了结构感知对有效的长篇知识编辑至关重要。
