论文
D-SLR:不相交行稀疏加低阶分解
D-SLR: The Disjoint Row-Sparse plus Low-Rank Decomposition
摘要
压缩用于重建的矩阵仍然默认为截断的 SVD,用单个低秩结构近似数据。通常通过添加重叠的行稀疏组件来进一步减少残差,但解决此联合问题的方法通常需要迭代求解器和调整正则化参数。我们提出了不相交行稀疏加低秩 (D-SLR) 分解,这是截断 SVD 的封闭形式插入,可改进或完全匹配它。 D-SLR 将行限制为要么逐字存储,要么通过低秩拟合近似存储,而不是两者兼而有之。在平方误差下,这种限制没有任何成本:在每个非平凡的等级和存储的行数(形状)上,用更少的参数可以不相交地实现联合最优。由于存储行数为零,D-SLR 简化为截断的 SVD,因此在同等成本下它永远不会做得更糟。该算法对整个误差与参数的权衡进行评分,然后通过提供的误差目标或参数计数或选择规则来选择解决方案。网格和解决方案总共花费三个 SVD,并且没有 调整或正则化。我们得出每个形状的误差的无假设的后验下限,为每个解决方案提供关于任何其他排名和存储行选择的潜在增益的可计算证书。对合成数据和真实数据(LLM 嵌入表、网络流量、高光谱图像)的实验确认了收益并量化了证书。