沙丘社区
论文

Video2SwimFish：用于从真实鱼类视频重建可控鱼类模型和生物运动的自动化管道

Video2SwimFish: An Automated Pipeline for Reconstructing Controllable Fish Models and Biological Locomotion from Real Fish Videos

Hangong Chen; Linfeng Cheng; Tahsin Zaman Jilan; Ian Fuller; Lee Caesar; Jiaye Wu; Yantian Zha
智能体系统Agent Harness

摘要

我们推出了 Video2SwimFish，这是一个自动化管道和基准，用于从真实鱼类视频中构建可控鱼类资产，以实现水下人工智能。给定单个鱼的同步多视图视频，该管道从 VLM 选择的规范框架中重建按度量缩放的可变形网格，通过 VLM actor-critic 循环生成适应该个体形态的内部清晰度，并从观察到的鱼的中线曲率中提取生物运动流形 (BLM)。 BLM 提供了一个由真实鱼运动界定的低维动作空间，使得能够为每条重建的鱼学习单独的游泳策略。我们发布了两个配对数据集：6 个物种的 120 条鱼的同步顶视图和前视图记录，以及从中得出的可控资产和个体游泳策略。由于每项资产都与其来源的动物相关，因此该数据集支持一个基准，该基准不仅评估任务成功与否，还评估轨迹形状、身体曲率和尾部跳动频率等方面对个体的保真度、轨迹跟踪、视频中的无奖励游泳行为转移以及模拟 BlueROV 水下机器人捕获其中一项资产的下游案例研究。我们发现任务成功和运动保真度不一定一起提高：实现最高任务完成度的方法并不是实现最高运动保真度的方法，并且我们将个体动物运动的忠实再现视为对社区的公开挑战。项目网址：https://hangongchen.github.io/video2swimfish-web/.