日本全国医疗索赔基金会模型：平衡模型扩展和特定任务的计算效率

使用纵向医疗数据进行临床风险预测支持个性化护理。自监督基础模型已成为利用大规模无标签医疗记录的一种有前景的方法。在自然语言处理中，缩放法则表明，较大的模型可以实现可预测的较低预训练损失，从而支持基础模型范式。然而，对于以词汇有限和观察稀疏为特征的结构化医疗数据，增加模型大小是否能够持续改善下游预测尚不清楚，因为大多数研究仅评估单个模型规模。在本研究中，我们评估了结构化医学基础模型的模型规模与下游任务绩效之间的关系。我们使用来自日本全国 519 家医院的理赔数据库中的随机样本（230 万名患者，32 家医院），在五个尺度（220 万至 1.01 万个参数）上对仅编码器 Transformer 进行了预训练，用于疾病发生率和药物预测。下游性能在任务相关阈值处饱和：疾病预测受益于较大的模型（32M-101M），而药物预测在 11M 处饱和，将预训练时间减少了 178 小时。在所有任务中，性能最佳的模型在精确率-召回率曲线下的区域始终优于轻梯度增强机基线。这些发现表明，与单调递减的预训练损失不同，最佳模型大小根据任务特征而变化。这种依赖于任务的饱和度为平衡结构化医学基础模型中的预测性能和计算成本提供了实用指导。