SkillIR：不断发展的场景感知技能以实现代理图像恢复

本文研究了代理图像恢复，其中多模式代理协调专门的恢复工具来恢复受复杂退化影响的图像。现有的恢复代理通常从原始退化图像中得出完整的工具使用计划或检索以前成功的轨迹，为使个体动作适应不断变化的中间恢复状态提供有限的支持。我们发现接受的工具执行可以改变残留退化状态，从而改变后续工具的适用性。为了解决这个问题，我们提出了 SkillIR，这是一个技能引导的框架，它将恢复经验表示为以退化为中心的行动证据，而不是完整的工具使用轨迹。 SkillIR 将依赖于上下文的行动结果整合到场景感知恢复技能中，这些技能描述了适用条件、预期效果和可归因的失败案例。检索到的技能不是规定完整的恢复计划，而是在经过验证的残余状态循环内一次指导一个有界操作：每个工具输出都被视为候选者，仅在转换验证后才提交，然后重新评估主动残余退化。每次执行后，生成的证据将用于创建、完善或修补动态技能，从而使积累的恢复经验能够改进后续输入的决策。对合成和真实世界多重降解数据集的实验表明，SkillIR 提高了修复质量，并实现了更可靠、更有效的工具使用。