LIT共同改进视频导演交互与meta工程师的进化策略

视频导演代理精心策划多阶段制作，以实现用户的创意愿景。关于它们自我进化的新兴研究有效地推进了剧本规划。然而，导演调度和用户交互之间的相互加强仍然在很大程度上被忽视。改进的交互澄清用户意图并为工作流优化提供依据，而更可靠的执行将协作从故障排除转变为创造性决策。为此，我们引入了LIT（Learning to Interact and DirecT），一个由导演代理、模拟用户和元工程师组成的框架。模拟用户分配创意任务来探究导演的弱点，而元工程师则使用任务轨迹来修改导演的交互和制作策略。尽管这种方法可以解决已发现的交互和制作问题，但它仍然依赖于元代理的被动归因。这限制了它适应更广泛的用户交互模式和制作技术的能力。为了解决这个问题，我们为 LIT 配备了共同进化范式。元代理主动学习外部知识，从而提高发现问题和提出解决方案的能力。元代理、模拟用户和导演共同形成进化闭环，协同增强系统的导演制作与交互能力。在 Test 和 OOD Test 两个划分上，相比初始流水线，LIT 的制作评分和交互评分分别提高 19.1% 和 32.0%。受控消融揭示了制作和交互改进之间的相关性，其中共同进化机制进一步鼓励导演技能和交互模式探索。