基于语义意图的共享控制的能力感知仲裁

共享控制通常根据对推断人类意图的信心来分配机器人权限，并假设可靠的自主执行。当这个假设失败时，高意图信心可能会导致过度帮助。我们提出了一个能力感知的共享控制框架，其中视觉语言模型（VLM）推断人类意图并提供语义意图置信度，而视觉语言动作（VLA）策略生成自主动作。 VLA 能力置信度是根据随机动作轨迹的分散性和局部不稳定性在线估计的。我们设计了一种非线性仲裁策略，通过 sigmoid 映射将贝叶斯过滤的语义意图置信度与 VLA 能力置信度相结合，以适应机器人权限。我们的评估将 VLM/VLA 置信度评估与一项涉及 12 名参与者在分布内和分布外条件下执行拾放和双向堆叠的研究相结合。与手动远程操作（83%）、仅意图仲裁（44%）和固定等权混合（10%）相比，所提出的方法实现了最高的任务成功率（92%）。与共享控制基线相比，它还实现了更高的控制友好度和更低的权威加权分歧。这些结果证明了将 VLA 功能纳入权限分配的好处，可以减少过度帮助并提高共享控制绩效。