论文

OPERA:具有端到端联合规划执行优化的图像恢复代理

OPERA: An Agent for Image Restoration with End-to-End Joint Planning-Execution Optimization

智能体系统Agent 工具调用

摘要

由于复杂且相互作用的混合退化,现实世界的图像恢复具有挑战性。最近基于代理的方法通过组合多个特定于任务的恢复工具来解决这个问题。然而,实证分析表明,它们的性能从根本上受到隐式约束的规划空间和独立预训练工具之间缺乏协调的限制。为了解决这些问题,我们提出了 OPERA(优化计划执行恢复代理),这是一个以端到端方式联合优化恢复计划和工具执行的框架。在规划方面,OPERA 使用强化学习在组合规划空间上直接优化工具组合,并以最终的修复质量作为奖励。在执行方面,OPERA 引入了代理引导的恢复工具协同训练,使它们能够学习顺序组合下的协作行为。对多重退化基准和真实数据集的大量实验表明,OPERA 在各种复杂的退化场景中始终优于一体式恢复模型和现有的基于代理的方法。