论文

以视觉语言模型引导电磁数字孪生在线校准

Demo: Vision-Language Model-Guided Online Calibration of an Electromagnetic Digital Twin

摘要

电磁 (EM) 数字孪生为移动机器人提供无线态势感知能力,但依赖于随环境变化的材料电导率。在线校准面临初始化灵敏度和测量旅行成本。我们使用 Unitree G1 机器人和 NVIDIA Sionna 演示了一个视觉语言模型 (VLM) 引导框架,并具有两个 VLM 调用:材料分类通过 ITU-R P.2040 将可见材料映射到电导率先验,以实现 Sionna 在累积接收信号强度 (RSS) 测量上的梯度下降;航路点规划使用残余 RSS 校准误差和图像覆盖范围在线选择下一个测量位置。在真实的室内场景中,该框架在20 m行程内实现了$1.74\times10^{-4}$的归一化平均绝对电导率误差;随机初始化永远不会收敛,而随机路径点需要超过两倍的行程。

以视觉语言模型引导电磁数字孪生在线校准:论文原图
图 1. 所提出的在线校准框架。所提出的系统由 VLM、移动机器人和可微光线追踪引擎组成。航路点规划调用从校准误差和过去的图像覆盖范围中选择下一个航路点,材料分类调用将相机图像映射到初始电导率值以进行逆射线追踪。