2025-05-02:研究室的1篇论文被ICML 2025接收
MIPL有1篇论文被接收,研究图像编辑测评。
BPM:区域和语义感知的指令控制图像编辑测评指标
Balancing Preservation and Modification: A Region and Semantic-Aware Metric for Instruction-Based Image Editing
作者:李卓颖(实习生),徐铸,彭宇新,刘洋
通讯作者:刘洋
指令控制图像编辑旨在通过文本指令控制模型实现图像编辑任务,要求模型能够准确满足指令要求对相应的内容进行编辑,同时保证其他无关区域内容不变。然而,现有针对该任务的测评指标通常没有同时考虑(1)需要被编辑的内容是否准确符合指令需求进行了修改;(2)与编辑无关区域的内容是否被正确保留。因而现有测评指标的结果容易出现偏差,难以和人类偏好达成一致。
针对上述挑战,本文提出一种平衡编辑指令跟随和无关内容保留的指令控制图像编辑指标,通过显式分离出编辑相关和无关区域,并从区域和语义的维度分别进行测评,得到对编辑质量的全面评估。具体贡献如下:(1)指令解析与编辑区域定位:通过大语言模型解析指令判断需要编辑的内容,并利用定位模型获取相应编辑区域掩码,用于分离编辑相关和无关区域进行分别测评;(2)区域和语义感知的编辑测评:从区域维度,判断编辑物体的位置和大小变化是否满足编辑指令;从语义维度,分别判断编辑相关区域语义变化是否符合指令,以及编辑无关区域是否完整保留;通过结合区域和语义的评估分数获得最终全面的测评分数;(3)编辑质量增强:在指令控制图像编辑任务中,利用编辑区域定位的方法获取该指令需要关注的编辑区域,通过引导模型在编辑过程中更关注该区域,有效减少无关区域内的不必要修改并提升编辑质量。
该论文的共同第一作者是北京大学王选计算机研究所实习生李卓颖和2024级博士生徐铸,通讯作者是刘洋助理教授,由彭宇新教授共同合作完成。
