语言模型的张量方法：从标记表示到训练、适应、推理、压缩和可解释性

大语言模型 (LLM) 由结构化高维对象构建，例如词元表示、权重、自适应更新、缓存和激活，其多线性结构未被传统的以矩阵为中心的视图充分利用。张量分解和张量网络为这种结构提供了一种有原则的代数语言，但文献通常将它们视为孤立的压缩机制。这项调查通过两个互补的视图组织了 LLM 的张量方法：涵盖标记化、嵌入、预训练、适应、压缩、推理和可解释性的七阶段生命周期分类法，以及涵盖嵌入、注意力和前馈网络的组件视图。我们提供统一的符号和理论基础，分析各个 Transformer 组件的张量化策略，并比较每个生命周期阶段的方法，同时明确评估协议和模型规模的差异。我们进一步将张量方法与邻近效率技术和概率张量网络连接起来。最后，我们综合了开放的挑战并引入 $ρ_{\rm gap}$，这是理论内存减少和测量的系统级加速之间的压缩实现差距的度量。通过将张量化视为一种常见的结构原则，该调查为张量化语言模型提供了一个结构化的切入点，并阐明了参数节省何时可以合理地转化为内存效率、计算效率或可解释性。本文专用的 GitHub 页面可在 \href{https://github.com/ma-tt-a/awesome-tensor-methods-for-LLM}{this https URL} 访问。