心电图模型如何扩展？

虽然标度律已经为自然语言处理中的基础模型建立了基本框架，但它们在心电图 (ECG) 模型中的适用性仍然不明确。事实上，随着 ECG 模型的模型大小或 预训练 数据集大小的增加，最近的研究并不总是产生一致的下游收益，而架构归纳偏差、预训练 范式和预期的大小改进的确切作用在很大程度上没有得到解答。在这项工作中，我们系统地研究了心电图领域内的神经和损耗缩放定律。通过在大规模 CODE 数据集（2.3$M 条记录）上使用超过 120 美元的 预训练 模型（范围从 $20$K 到 $200$M 参数），我们解耦了模型架构（ResNet 与 Transformer）和 预训练 范式的影响，即监督学习（SL）与自监督学习（SSL）。我们发现 (i) SL 模型在分布上存在数据瓶颈，而 SSL 模型在模型和数据大小上都可以稳健地扩展； (ii) 对于分布外 (OOD) 泛化，ResNet 的参数效率比 Transformer 高 1.3 美元到 2.5 美元，而在未见过的临床任务上，SSL 的数据效率比 SL 高 16 美元，传输效率高 7.6 倍； (iii) 在观察到的尺度上，基于 ResNet 的模型通常实现最低的 OOD 损失，其中 SSL 在看不见的临床任务上占主导地位，而自我监督的 Transformer 在非常大的模型尺寸上超越。我们的结果表明，有效的心电图基础模型的路径在于架构和范式的战略调整，而不是强力扩展。