表示对齐依赖于线性结构

我们通过三方表示统计框架（信号、偏差和噪声）研究柏拉图表示假说（PRH）。 {1) 信号：}我们提出柏拉图式对齐源于对象和属性之间的普遍关系，根据线性表示假设（LRH）在表示中线性编码。我们提供的证据表明，LRH 通过使用稀疏自动编码器提取线性对象属性特征来帮助解释 PRH，并表明这些稀疏表示通常比密集表示表现出更强的跨模态对齐。 {2) 偏差：}由于使用的架构和训练程序不同，模型具有不同的隐式偏差。我们证明这种差异可以部分缓解。居中和标准化持续改善跨模型对齐。 {3) 噪声：}有限样本训练会导致表示中出现噪声。我们通过揭示 LLM 和文本嵌入模型中的词频和对齐之间强烈且一致的正相关性来提供证据，证明表征噪声是由数据稀缺驱动的。综合信号、偏差和噪声，我们提出了一种统计模型，该模型改进了线性表示假设，并进一步解释了与各种现代人工智能架构中出现的表示对齐相关的现象。