面向端侧智能体增强实时通信的协同网络传输

AI智能体正在开启智能体增强实时通信（RTC）新范式：人类专注于高层协作，而智能体自主地实时检索、分析与生成信息以支持其互动。这类应用在各领域带来新体验：例如企业员工共同撰写法律文档时，各自的智能体可代为讨论与起草，免去人工互相审阅对方工作的负担。鉴于现有云端智能体存在隐私风险与难以扩展的服务器成本，端侧智能体增强RTC提供了有前景的替代方案。然而这一端侧范式带来了新的网络挑战：人类产生的流量（用于实时视频流）与智能体产生的流量（用于发送上下文文件以供分析）并发争用。我们设计了HFS，一个在智能体增强RTC应用中同时保证高实时视频质量与低智能体响应延迟的框架。我们通过应用引导的多流传输方法实现这一目标：统一的应用层编排器依据异构的应用需求，联合控制实时视频流与智能体上下文流的发送速率。基于WebRTC与llama.cpp构建的原型表明，HAFS优于各基线，实现1.5倍的视频质量提升，同时将智能体响应时间降低31%。