论文

边际效用、矩阵分解与KV缓存:地矿信息推理的统一框架

Marginal utility, matrix factorization, and the Key-Value (KV) cache: a unified information-economic framework for sovereign geo-mining inference

模型推理KV Cache

摘要

本文在经济学的边际效用概念与矩阵分解、Transformer语言模型KV缓存之间建立理论联系。评分矩阵的奇异值谱可视为潜在因子的边际效用递减序列;投影协方差算子的特征值谱可视为模型所学表征的边际效用序列;缓存淘汰和低秩压缩则是在内存预算下的约束效用最大化。三者归结为统一分配规则:保留特征值高于有效约束影子价格的主要维度。框架应用于地矿文档结构化信息自动提取,启发多轮推理协议、逐层TIES模型合并,以及结合提取质量、本地化漂移和能耗的选择策略,并以漂移的条件风险价值项进行标量化。论文报告两项实证贡献。一项1120万参数的分层分类器在单GPU上训练约五分钟,在来自973篇铀勘探文档语料的留出测试集上达到90.0%的一级准确率;专有模型则在同语料50篇文档的人工审计中达到92.0%。前者每张卡片延迟2.62毫秒,API约2000毫秒,成本极低。另一项针对统一密度TIES合并的诊断揭示可复现的退化模式:合并模型对五个地理上不同地区返回Token完全相同且声称高置信度的输出;使用逐层校准密度重新合并后,诊断样本上的这一特征消失。包含LoRA微调的全规模提取基准被报告为预期而非实测结果,仍是后续实证扩展。