以受约束自适应代码生成控制机器人

在未知和动态的环境中将机器人部署为复杂自适应系统（CAS），需要从严格的命令库过渡到基于意图的自主性，因为自然语言是唯一能够阐明超出有限指令集能力的复杂目标的媒介。虽然大型语言模型（LLM）提供了一条通向自然语言目标描述的道路，但它们的集成带来了重大挑战：不精确的意图和可执行行动之间的形式化差距、不可预测的环境引起的分类差距，以及维持时间状态和进度意识的挑战。这项工作引入了一个架构框架，可以利用生成式人工智能实现机器人控制。该系统遵循双人工智能设计：LLM将高级意图转换为仅限于正式机器人库并受可验证语法约束的可执行程序代码，而视觉语言模型（VLM）通过蒸馏过程提供语义基础。为了确保稳健性，该框架包含 基于几何和语义阈值的环境驱动的重新规划触发器，并辅以连续运行时监控和自适应规划循环。我们的框架架构以跨前沿模型为基准，表明将生成式人工智能置于反应性、受限循环中可以在动态和未知环境中稳健地实现复杂的意图。