使用组合运算符线性化 LLM 语义转换

机器学习学习功能：提示到响应，图像到标题。这些函数在数学上是什么仍然很难说。我们提出了一种使用库普曼主义范畴内的动力系统技术来近似此类变换的方法。我们介绍了组合算子的使用，它概括了 Koopman 算子，最重要的是，它可以在不同的空间之间进行映射，从而激发了 LLM 变换是矩形无限维算子的观点。这种形式主义揭示了有用的结构：在提示和响应分布的自然假设下，LLM 算子是等距的，学习的表示之间的不对准表现为其有限部分的光谱污染。然后，我们概述了一种构造 LLM 算子的有限维近似的方法，并演示了如何使用奇异值谱来比较任务和模型。