测试时对抗性接管：针对机器人扩散策略的实时劫持界面

基于扩散的动作生成已成为体现人工智能的基本组成部分，但它对视觉调节的依赖使得部署的视觉运动策略容易受到对抗性操纵。大多数先前的攻击都集中在破坏上：它们扰乱观察流以降低任务成功率或引发不稳定的行为。我们研究了一种更强大的威胁，即测试时对抗性接管（TAKO），其中攻击者通过冻结的机器人策略获得实时转向界面，并将其转变为远程驾驶仪器。 TAKO 通过可微扩散推理学习可重用通用补丁的小词汇量；在测试时，攻击者在相机流中的这些补丁之间切换以组成攻击者选择的轨迹。这是有效的，因为扰动作用于视觉调节通路，其中诱发的偏差可以通过迭代生成推理持续存在。我们进一步表明，自然目标基线、目标策略匹配失败了，因为受害者策略无法可靠地监督分布外目标变化。在四个任务（2D 操纵、模拟空中投递、模拟地面导航和物理世界地面导航）、两个视觉编码器（ResNet-18 和 EfficientNet-B0 + Transformer）和三个生成推理系列（DDPM、DDIM 和流匹配）中，人类操作员在每个评估设置中对攻击者定义的目标实现了 100% 的接管成功。该项目页面位于 https://tako-attack.github.io。