论文

PanLUNA:面向边缘生物信号智能的高效稳健查询统一多模态模型

PanLUNA: An Efficient and Robust Query-Unified Multimodal Model for Edge Biosignal Intelligence

模型优化端侧模型

摘要

生理学基础模型(FM)在生物信号表示学习上展现出潜力,但大多数仍局限于脑电(EEG)、心电(ECG)或光电容积描记(PPG)等单一模态,这主要缘于配对多模态数据集的稀缺。本文提出PanLUNA,一个参数量仅5.4M的紧凑型泛模态FM,在单一共享编码器中联合处理EEG、ECG与PPG。PanLUNA扩展了LUNA的通道统一模块,将多模态通道视为统一查询集中的条目并辅以传感器类型嵌入,实现高效的跨模态早期融合,同时对推理时的模态缺失天然稳健。尽管体量很小,PanLUNA仍可匹敌甚至超越参数量大至57$\times$的模型:在TUAB异常EEG检测上取得81.21%的平衡准确率,在HMC多模态睡眠分期上取得0.7416的平衡准确率(当前最优)。采用INT8权重的量化感知训练可恢复$\geq$96%的全精度性能;部署于面向可穿戴设备的GAP9超低功耗RISC-V微控制器时,10秒12导联ECG推理实现325.6 ms延迟与18.8 mJ能耗,而对30秒片段的多模态5通道睡眠分期实现1.206 s延迟与68.65 mJ能耗。

PanLUNA:面向边缘生物信号智能的高效稳健查询统一多模态模型:论文配图
图1:叠加于原始信号的交叉注意力分数显示各查询专注不同模态:查询3激活于ECG的QRS波,查询1对应PPG,查询2对应EEG。