论文
编辑推荐:通过原子实体分析评估图像编辑中的抽象意图
Editor's Choice: Evaluating Abstract Intent in Image Editing through Atomic Entity Analysis
摘要
人类自然地通过“情绪”等抽象概念进行交流。然而,当前的图像编辑基准主要关注明确的文字命令,而抽象指令在很大程度上尚未得到充分探索。在这项工作中,我们首先正式确定了抽象图像编辑的定义和分类。为了衡量这个具有挑战性的领域中的指令遵循情况,我们引入了 Entity-Rubrics,这是一个框架,可将抽象编辑分解为单独的实体级评估,并实现与人类判断的强相关性。除了这个框架之外,我们还贡献了 AbstractEdit,这是第一个致力于跨不同现实世界场景进行抽象图像编辑的基准测试。在此数据集上评估 11 个领先模型揭示了一个根本挑战:标准架构难以平衡意图和保存,通常会默认编辑不足或过度编辑。我们的分析表明,推动有意义的改进在很大程度上依赖于集成先进的 LLM 文本编码器和迭代思维。展望未来,我们基于实体的范例可以推广到评估之外,作为奖励模型,使模型能够正确解释抽象通信,或突出测试时批评循环中的特定失败。最终,我们希望这项工作成为无缝多模式交互的基石,缩小严格的机器执行与自然、开放的人类交流方式之间的差距。