DomusFM：智能家居传感器数据的基础模型

智能家居传感器数据在多种应用中具有巨大潜力，包括医疗保健监测和辅助技术。然而，现有方法面临严重的局限性。监督模型需要不切实际的标记数据量。活动识别的基础模型仅关注惯性传感器，未能解决智能家居二进制传感器事件的独特特征：其稀疏、离散的性质与丰富的语义关联相结合。基于大语言模型的方法虽然在该领域进行了测试，但仍然提出了一些问题，涉及自然语言描述或提示的需求，以及对外部服务或昂贵硬件的依赖，由于隐私和成本问题，使得它们在现实生活中不可行。我们推出 DomusFM，这是第一个专门为智能家居传感器数据设计和预训练的基础模型。 DomusFM 采用自监督双重对比学习范式来捕获标记级语义属性和序列级时间依赖性。通过集成轻量级语言模型的语义嵌入和时间模式和二进制状态的专用编码器，DomusFM 学习可在与活动和事件分析相关的环境和任务之间传输的通用表示。通过对七个公共智能家居数据集进行留一数据集评估，我们证明 DomusFM 在不同下游任务上的表现优于最先进的基线，即使只有 5% 的标记训练数据可用于微调，也能实现卓越的性能。我们的方法解决了数据稀缺问题，同时保持了现实世界智能家居系统的实际可部署性。