论文

IoT-Brain:将LLM依据对齐于语义-空间传感器调度

IoT-Brain: Grounding LLMs for Semantic-Spatial Sensor Scheduling

智能体系统Agent 规划

摘要

由大规模传感器网络驱动的智能系统正从预定义监控转向意图驱动运行,暴露出一个关键的语义到物理映射鸿沟(Semantic-to-Physical Mapping Gap)。尽管大语言模型(LLM)擅长语义理解,现有以感知为中心的流水线都是事后回溯式运行,忽视了“感知什么、何时感知”这一根本决策。我们将这一主动决策形式化为语义-空间传感器调度(Semantic-Spatial Sensor Scheduling,S3),并证明由于表征、推理与优化方面的固有缺陷,直接让LLM进行规划并不可靠。为弥合这些缺陷,我们提出空间轨迹图(Spatial Trajectory Graph,STG),一种由“先验证后执行”准则支配的神经-符号范式,将开放式规划转化为可验证的图优化问题。基于STG,我们实现了具体系统IoT-Brain,并构建了校园规模的TopoSense-Bench基准,包含覆盖2,510个摄像头的5,250条自然语言查询。评估显示,IoT-Brain将任务成功率较最强的搜索密集型方法提升37.6%,同时运行速度近2倍、提示词元用量减少6.6倍。在真实部署中,它接近可靠性上界,同时网络带宽降低4.1倍,为LLM以前所未有的可靠性与效率与物理世界交互提供了基础框架。

IoT-Brain:将LLM接地于语义-空间传感器调度:论文配图
图3:IoT-Brain系统总览与工作流,展示LLM如何接地于语义与空间信息以实现传感器调度。