迈向特权基础模型：用于加速和改进学习的 LUPI

训练基础模型需要大量计算，并且收敛速度通常很慢。我们引入了 PIQL，即用于快速和高质量学习的特权信息，这是第一个系统地集成特权信息 (PI) 的框架，以同时加速学习并提高表格基础模型 (TFM) 的泛化能力。我们构建了两种互补形式的 PI：（i）聚合数据集级统计数据，减轻上下文学习的负担；（ii）底层数据生成程序的编码，提供可观察数据之外的知识。我们进一步设计了一种架构，通过学习在推理时根据观察到的上下文重建它，有效地传输仅训练时间的 PI。我们提供了一种理论分析，描述了 PI 减少群体水平近似差距并加速有限数据状态下收敛的条件。经验证据表明，PIQL 使 TFM 能够实现更快的收敛、更低的最终损失和更好的泛化，实际上减少了数据和计算要求。我们的工作将 PI 引导的预训练建立为提高基础模型效率和性能的原则性和实用范例。