边缘设备上的嵌入式AI陪伴系统

边缘设备上的计算资源约束使得开发具备满意用户体验的全嵌入式AI陪伴系统颇为困难。现有文献详述的AI陪伴与记忆系统因算力不足与延迟顾虑而无法直接用于此类环境。本文提出一种在活跃与静默阶段间交替的记忆范式：在用户活跃阶段，系统通过对既有记忆与上下文的轻量检索执行低延迟实时对话；而在用户静默阶段，它对完整会话执行计算更密集的记忆抽取、整合与维护。这一设计在嵌入式硬件的严苛约束下，将延迟降至最低，同时保持长期个性化。我们还提出一个AI Companion基准，用于从对话质量与记忆能力两方面整体评测AI陪伴系统。实验发现，我们的系统（使用非常弱的模型：量化为int4的Qwen2.5-7B-Instruct）在多数指标上超过无记忆的同等原始LLM，并与16k上下文窗口的GPT-3.5表现相当。