技术实践
乐橙以豆包模型执行家庭与门店语义监控
概述
乐橙与火山引擎于2025年达成深度合作,围绕豆包大模型、云服务、边缘计算、数据产品展开智能家居全场景升级,联合开发「乐橙AI智见」大模型服务,目标是解决家庭安防中信息过载、关键事件难捕捉、重复提醒等痛点。家用侧依托豆包大模型完成四项升级:语义化告警增强把「有人出现」类移动侦测升级为场景描述(如「白色小猫在沙发上睡觉」),并针对易误判场景做多帧验证、将帧图片与自定义标签输入视觉理解。 自然语言视频检索支持用文字直接检索事件(如「孩子出门」)。智能消息过滤自动识别并归并重复告警。智能事件摘要自动归纳每日动态生成图文简报与浓缩视频(如「猫喝了5次水」「老人下午在客厅活动」)。门店巡检侧,火山引擎为乐橙注入 AI 模型能力,实现7×24小时远程在线巡检,自动识别货架缺货、员工离岗、工装穿戴违规、抽烟等行为,异常发现时效从「小时级」提升到「秒级」,相较传统100家门店需5-10人天的人工巡检可降低60%以上的人力与差旅成本,并形成「发现问题→派发任务→跟踪进度→复核确认」的整改闭环。 客流相机可过滤员工、外卖员等非目标角色,输出客流报表与商品关注度热力图。文中称目前已有百万用户使用过乐橙「AI智见」。