论文

SeT-Diff:迈向HPC遥测与时序数据的语义基础模型

SeT-Diff: Towards Semantic Foundation Models for HPC Telemetry and Time-Series

模型训练预训练

摘要

数据中心及其计算节点需要精确而灵活的数字孪生,能够对工作负载、环境参数与物理指标之间复杂的相互作用建模。当前面向HPC(高性能计算)及其遥测数据的机器学习方法,通常依赖于为单一任务定制的匿名、固定位置传感器变量的静态子集。因此,当目标任务发生变化或传感器指标变动时,这些模型便会过时。我们提出SeT-Diff,首个面向计算节点遥测与时序数据的基础模型。与僵化的架构不同,我们基于扩散的方法以每个传感器的语义描述为条件来引导生成过程,从而将系统动力学与数据集结构解耦。在真实超算数据集上的实验表明,重建任务的平均绝对误差(MAE)为0.0470。SeT-Diff表现出零样本置换稳定性,即使传感器被打乱,也能以可忽略的精度损失保持准确。单个预训练模型即可有效执行数据填补、预测与虚拟传感——在热推断中达到0.033的MAE——使SeT-Diff成为HPC系统有效的数据驱动数字孪生。