具有自适应锚点的函数空间Transformer

许多形式的数据，包括物理场、几何形状和视觉信号，自然地由连续域上的函数描述，但通过离散样本观察。在固定的均匀网格上表示这些函数需要在解决局部变化和增加跨域计算之间进行权衡。神经算子通过学习函数之间的映射来解决这种不匹配问题，而潜在注意力架构则提供了对采样观察结果的灵活处理。我们引入了函数空间Transformer（FST），这是一个通过空间自适应连续潜在表示来学习函数的框架。 FST 将特征存储在锚点上，这些锚点的位置是根据输入观测值预测的，并通过函数空间交互递归地细化这些锚点特征。这允许表示使其空间组织适应每个输入，而不是继承观察网格的空间组织，同时支持空间解析和有限维输出。在使用 PDEBench Burgers 和达西流进行 PDE 解预测时，FST 大大优于 Perceiver IO 基线，其潜在表示缺乏明确的空间组织，并且与傅里叶神经算子具有很强的竞争力。在 ImageNet-1K 上，FST 比 Vision Transformer 基线实现了更高的分类精度，并且在这些比较中使用的参数更少。消融进一步支持函数空间更新和递归细化的好处。总之，这些结果凸显了自适应连续表示在科学预测和视觉识别方面的潜力。