CACHE-UK：金融领域连续更新量化 LLM 的稳定性感知内存编辑器

在动态金融环境中部署的 大语言模型 (LLM) 面临着严峻的挑战：随着市场条件、法规和公司事实的不断变化，保持事实的准确性。虽然 4 位量化可以实现高效部署，但它严重限制了顺序内存编辑的可行性：现有方法在这种“量化稳定性危机”下经历了灾难性的性能下降。我们推出 CACHE-UK（英国金融上下文自适应连续混合编辑器），这是一种稳定性感知内存编辑框架，专为特定领域的量化 LLM 设计。 CACHE-UK 集成了三个组件：将编辑限制在低秩适配器子空间的 1 级 LoRA 扰动机制、用于内容自适应编辑强度的金融领域优先级模块，以及跟踪“退化债务”以防止顺序更新中发生灾难性遗忘的闭环稳定性控制器。在 4 位量化 OpenLLaMA-3B 模型上进行评估，其中包含 88,021 个文档的英国金融语料库，CACHE-UK 相对于相同 4 位约束下的适应基线，将知识退化减少了 11-17%，这是其最强大的效果，同时获得了在我们的设置中观察到的最高测试成功（泛化）率（28%，比最强适应基线提高了 6 个百分点）。这些结果表明，尽管绝对泛化率仍然很低，但稳定性感知编辑可以改善资源有限的财务 LLM 部署中的事实维护。