RawVLA：用于机器人操作的嵌入式神经图像信号处理器

摘要

视觉-语言-动作 (VLA) 模型通常对固定相机图像信号处理器 (ISP) 生成的 RGB 图像进行操作，将成像管道置于学习和评估循环之外。我们系统地检查了这种被忽视的设计选择在五个基本 ISP 维度上的后果：增益、传感器噪声、色度响应、色调响应和位深度。我们的分析表明，RAW 到 RGB 处理对动作预测和操纵成功都有重大影响，不同的 ISP 尺寸会产生截然不同的效果。在这些发现的指导下，我们引入了 RawVLA，一种流式神经 ISP，它自适应地呈现冻结 VLA 策略的 RAW 观察结果，同时将其能力集中在与具身行为相关的成像因素上。我们进一步提出了 RawVLA-Bench，这是一个 RAW 域操作基准，将图像处理暴露为跨干净和不利采集条件的显式评估变量。 RawVLA-Bench 上的实验表明，RawVLA 保留了标准条件下的性能，同时大幅提高了退化成像下的鲁棒性，将自适应 RAW 处理建立为物理相机和具体策略之间的有效接口。