如何引导您的多代理系统：Human-LLM 协作规划

在精心策划的多智能体系统中，由于计划的复杂性和有限的透明度，人类常常难以管理计划。现有方法依赖于结果级监督，用户仅验证最终输出，而无法了解中间推理。我们沿着三个轴形式化了人类-LLM 共同规划交互的设计空间：模式（语义与结构）、范围（全局与目标）和级别（低级与高级编辑）。我们在 AMBIPOM 中实现了这一点，这是一个通过语义和结构交互支持流程级监督的原型。通过用户研究，我们描述了用户如何浏览这个空间，揭示混合工作流程和努力-控制-风险权衡；通过受控基准，我们分析了 LLM 在不同范围和修改策略下如何修改计划。我们的研究结果为更透明、可控和有效的人类与人工智能共同规划提供了设计见解。我们在 https://github.com/megagonlabs/ambipom 发布代码和数据。