论文
SCENIC:用于生成结构化物联网命令的语义条件边缘感知神经框架
SCENIC: Semantic-Conditioned Edge-Aware Neural Framework for Structured IoT Command Generation
摘要
边缘物联网 (IoT) 代理通常受到内存容量、隐私要求、通信延迟和重复推理成本的限制。当前的智能家居助手通常依赖于 API 级命令接口或基于云的语言模型,而这些模型仍然难以部署在边缘设备上。本文将边缘物联网命令生成视为多对一的结构化输出任务,其中多个自然语言指令映射到相同的规范命令字符串,以进行确定性智能家居解析。为了支持这种设置,我们提出了用于结构化物联网命令生成的语义条件边缘感知神经框架(SCENIC),这是一个端到端框架,涵盖模型架构选择、智能家居指令数据生成、三元组损失对比监督 微调、修剪和量化以及面向部署的导出。我们评估了低于 0.2B 规模的 Transformer 主干网,据我们所知,这是用于边缘物联网结构化命令生成而研究的最小语言模型主干网之一。在 Smart Home Instruct-Bench 上,最强的仅密集解码器行达到 99.0% EM@1,而编码器-解码器模型保留了更强的高稀疏行为。代表性的修剪 INT8 编码器-解码器导出保留了 91.0% EM@1 和 99.0% EM@5,同时将导出模型大小减少了 25.38%。 NVIDIA 2:4 稀疏编码器导出的 TensorRT 分析进一步显示了高达 1.8 倍的编码器组件加速,表明所选的编码器-解码器部署路径可以在面向边缘的压缩下保留结构化命令的准确性,同时硬件加速证据仍保持组件级。 SCENIC 代码和实验工件是开源的,以支持可重复性。