论文
CogGuard:边缘智能中主动警告的认知与运营画像
CogGuard: Cognitive and Operational Profiling for Proactive Warning in Edge Intelligent Services
摘要
主动警告是边缘智能服务的一项重要功能,系统可以预测主体是否能够在严格的延迟和隐私约束下成功完成传入任务。这种预测取决于长期静态属性和从历史交互日志中得出的短期动态。最近的大型语言模型(LLM)为从这些日志构建结构化配置文件提供了强大的长上下文推理,但现有的解决方案在边缘部署方面面临着两个挑战:(1)分析方法通常是特定于域的,并且缺乏跨服务场景的可重用抽象;(2)由于输入序列长度的差异,异构边缘集群上的微调对齐模型会产生很高的同步开销。为了应对这些挑战,我们提出了 CogGuard,一种用于边缘智能服务的主动预警框架。 CogGuard 通过共享的静态-动态配置文件到分数管道将基于离线 LLM 的配置文件构建与基于在线小语言模型 (SLM) 的分数预测分离,并在两个代表性场景中实例化它:教育表现警告和操作任务结果警告。为了高效的配置文件构建,我们设计了特定于场景的分析方法,并具有前缀对齐的 KV 缓存重用,以减少重复编码开销。对于边缘端模型对齐,我们提出了一种具有对比正则化的长度感知分布式微调策略,以减轻异构集群上的工作负载不平衡。在教育和运营数据集上的实验表明,CogGuard 将配置文件构建时间缩短了 48%,分布式微调时间缩短了 19%,同时在 100 点规模的预警任务上分别实现了 13.4 和 5.9 的 MAE。在最大的教育环境中,与最强基线相比,CogGuard 将预测误差降低了 15.4%。
