多模态语言模型驱动的养老机构服务机器人交互与陪伴

服务机器人越来越多地部署在养老机构中，以减轻护理人员的工作量并提高日常护理质量。然而，现有研究大多侧重于孤立的服务功能，缺乏持续陪伴、自然交互和安全监控的集成能力。在本文中，我们提出了一种智能陪伴机器人系统，该系统结合了主动视觉跟随、实时 LLM 驱动的语音交互（用于意图理解和任务执行）以及基于 VLM 的安全监控（用于跌倒检测和异常姿势评估）。感知层可确保稳健的人体跟踪，并使用主动万向节在遮挡或突然移动时将用户保持在视野中。在交互层，大语言模型 解释语音请求并将其映射到机器人动作，从而实现护送和语义导航。同时，基于 VLM 的安全代理会持续分析视觉观察结果，以检测与跌倒相关或异常的姿势，并在必要时触发紧急响应。实验结果表明，该系统能够可靠地跟随人类并与人类互动，同时有效检测潜在的跌倒以确保用户安全。