用于光流控组装的代理语言到目标的综合

基于光的先进制造越来越需要可编程的闭环工具，将人类的设计意图转化为小尺寸的可执行操作。然而，机器人和制造模式仍然存在一个关键瓶颈：将用户意图转变为可可靠执行的机器可读目标。虽然微型机器人通过流体的光学驱动提供多功能操纵，但数学上可处理的目标规范仍然是手动的并且难以重复使用。在这里，我们介绍了 Speak-to-Objective，这是一种模块化代理管道，它使用条件 大语言模型 (LLM) 将口头或书面命令转换为完全可微的目标函数，以便在约束感知逆解算器 (SLSQP) 和实验性光流控平台上组装微粒。该方法采用紧凑的循环 - 感知 -> 撰写 -> 建议 -> 行动 -> 报告和学习 - 将目标视为意图和驱动之间的接口，将要组装的内容或模式与如何驱动分开，同时从用户反馈中学习。该管道由几何、间距和分配/拓扑术语组成，以生成鲁棒的描述性目标，这些目标从部分迹线组装并在扰动后恢复，以及用于精确放置的明确目标，所有这些都以与执行器无关的方式进行。使用激光诱导的热粘性流作为物理驱动方式，我们在微流体环境中演示了自然语言可编程、基于光的粒子模式的微尺度组装。除了对可编程微装配的直接影响以及使用激光诱导光流控驱动作为降低复杂性的实验平台之外，我们的工作还指向自动驾驶、人工智能辅助光学制造平台，在该平台中，自然语言、可微分目标和基于激光的驱动被耦合到可重复使用的数字工作流程中。