训练和缩放计算最佳生理波形基础模型

我们研究了生理波形基础模型 (FM) 的缩放法则和计算最优训练。我们使用最多3630万小时的生理波形来训练 Aether，这是一个由 100 多个 FM 组成的系列，范围从 20M 到 2.1B 参数。我们从 MIMIC-III 构建了八个临床预测任务，并通过线性探测评估 FM。 720M FM 在所有八项任务中均优于所有现有基准 FM。模型大小、预训练时间和标记患者的缩放法则可以有效地预测下游排名误差，即 $1-\mathrm{AUROC}$，在留出资源规模上使用 $0.5\%$ 预测 MAE，在外推到 2.1B 参数时使用 $0.9\%$ MAE。我们提出了三个发现：(1) 计算最优的训练可以缩放 FM 大小和预训练时间。根据拟合定律，计算 FLOP 增加 $10.0\times$ 时，模型大小会增加 $1.2\times$，预训练时间会增加 $8.2\times$。 (2) 较大的 FM 可以更有效地使用波形数据，并且更大的预训练暴露会增加模型缩放的好处。从 25M 参数和 480 万预训练小时开始，FM 大小加倍可以减少 $51.8\%$ 实现相同性能所需的预测时间。 (3) 预训练和临床监督相辅相成：更多标记的患者增加了预训练的回报，而更大的 FM 和更长的预训练则减少了标记要求。对于 720M FM 的示例，将预训练从 120K 小时延长至 3630 万小时，可在目标排名误差下将预测的患者需求减少 $61\%$。这些发现为生理波形建模和下游临床预测提供了定量的训练配方和有前途且持久的扩展路径。