沙丘社区
论文

IVG-UAV：语音驱动的无人机成熟果实采摘仿真系统

IVG-UAV: An Intelligent Voice-Guided UAV System for Autonomous Ripe Fruit Harvesting with Vision-Based Classification and Adaptive Path Planning

Dinh Trung Duong
应用与实践智能体系统Agent 工具调用机器人语音识别与转写

摘要

在热带地区，农业部门仍然高度依赖体力劳动来收获水果。在大型农场中，这种依赖性通常会导致巨大的劳动力成本和物流复杂性。该项目展示了语音控制无人机 (UAV) 系统的开发和模拟，该系统旨在自动执行大面积种植园的收割任务。所提出的系统将使用 Whisper [1] 和 LLM 的语音识别、基于计算机视觉的成熟度分类以及统一框架内的自适应路径规划集成在一起。整个系统在 Gazebo 模拟环境中进行建模和验证，允许在受控农业场景下进行性能评估

IVG-UAV：语音驱动的无人机成熟果实采摘仿真系统：论文原图
图 4：任务执行管道从语音命令开始，使用 Whisper 和基于 LLM 的解释器将其转换为任务指令。自适应路径规划器在处理避障时生成导航命令。 MAVSDK向无人机传输控制命令，而视觉感知模块在飞行过程中不断处理视觉数据。该系统在 Gazebo 模拟环境中的 ROS2 上运行。