Co-GLANCE：异构机器人团队的不确定性主动感知

对于在非结构化户外环境中运行的异构机器人团队来说，感知不确定性是一个主要挑战，在这种环境中，没有单一视角能够提供可靠的场景理解。由遮挡等来源引起的感知不确定性根据场景结构在机器人视点上表现不同。检测和解决感知不确定性的来源需要基于场景的上下文推理和能力感知的机器人分配。虽然视觉语言模型为两者提供了强大的语义先验，但它们在计算上无法进行机载推理，并且缺乏校准的不确定性量化。我们推出 Co-GLANCE，这是一种实时机载感知和决策系统，用于解决异构机器人团队中的不确定性。 Co-GLANCE 将视觉语言模型的语义推理能力提炼为用于遮挡分割和机器人分配的端到端模型，从而消除了基于云的推理的需要。为了量化感知不确定性，Co-GLANCE 将保形预测与选择性放弃相结合，为分割、机器人分配和检测输出提供统计上有效的覆盖保证。这些经过校准的不确定性估计直接触发主动感知，调度最合适的机器人来获取信息观点并解决不确定性。在现实场景中，Co-GLANCE 在遮挡分割和机器人分配精度方面优于基于云的视觉语言模型基线，分别提高了 25% 和 36%，同时将每帧推理延迟降低了 350 倍。我们还发布了用于未来研究的空地数据集。代码、视频和数据集可在 https://co-glance.github.io/ 获取。