主页
2023-02-28：研究室和美团合作的1篇图文广告自动生成论文被CVPR 2023接收
研究室和美团合作的1篇图文广告自动生成论文被CVPR 2023接收，并已在美团APP广告自动制图中应用：HsiaoYuan Hsu（硕士生，北大）, Xiangteng He（北大）, Yuxin Peng（通讯作者，北大）, Hao Kong（美团） and Qing Zhang（美团）, "PosterLayout: A New Benchmark and Approach for Content-Aware Visual-Textual Presentation Layout", 36th IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2023。CVPR是计算机视觉领域的顶级国际会议，也是CCF推荐的A类会议，本次大会共有9155篇论文提交，共录取2360篇论文（录取率25.78%）。祝贺徐筱媛同学！
图文广告自动生成旨在给定的图像画布上自动安排元素（例如：广告文本、图标、衬底）的空间位置和专业布局，用于广告、海报、杂志封面设计中，能够取代呆板的预定义模板，是智能创意设计的关键技术。现有的广告生成研究多聚焦在元素间关系的处理，忽略了图像画布与元素的交叉关系，难以生成与图像画布兼容的布局，例如将图标放置在画布中的人脸上造成遮挡，或是将文字放置在不平坦区域损害可读性等。同时，作为一个新兴的研究方向，仍缺乏公开的数据集和评测基准。因此，本文首先建立了图文展示布局数据集和评测基准PosterLayout，其贡献主要体现在三个方面：（1）源域多样性：由电商广告、海报、自然图像画布、设计师合成的图像画布构成，提供数据分布的广泛性，验证方法在现实应用场景中的泛化能力；（2）主题多样性：涵盖九大商品类别，提供主要对象在内容、数量上的变异性，验证方法对多样性图像画布的泛化能力；（3）布局复杂度：具备多个元素数量大于10的布局，足以支持复杂布局任务。此外，本文提出了设计序列生成网络（Design Sequence GAN），将人类经验引入设计序列形成（Design Sequence Formation）算法，将布局自动重组为隐含时间信息的设计序列，并以画布图像的视觉特征作为初始状态，模拟人的设计行为，自动生成与画布内容兼容的布局。实验结果验证了新基准和新方法的有效性，能够达到人类设计师的广告设计质量。
图文广告自动生成旨在给定的图像画布上自动安排元素（例如：广告文本、图标、衬底）的空间位置和专业布局，用于广告、海报、杂志封面设计中，能够取代呆板的预定义模板，是智能创意设计的关键技术。现有的广告生成研究多聚焦在元素间关系的处理，忽略了图像画布与元素的交叉关系，难以生成与图像画布兼容的布局，例如将图标放置在画布中的人脸上造成遮挡，或是将文字放置在不平坦区域损害可读性等。同时，作为一个新兴的研究方向，仍缺乏公开的数据集和评测基准。因此，本文首先建立了图文展示布局数据集和评测基准PosterLayout，其贡献主要体现在三个方面：（1）源域多样性：由电商广告、海报、自然图像画布、设计师合成的图像画布构成，提供数据分布的广泛性，验证方法在现实应用场景中的泛化能力；（2）主题多样性：涵盖九大商品类别，提供主要对象在内容、数量上的变异性，验证方法对多样性图像画布的泛化能力；（3）布局复杂度：具备多个元素数量大于10的布局，足以支持复杂布局任务。此外，本文提出了设计序列生成网络（Design Sequence GAN），将人类经验引入设计序列形成（Design Sequence Formation）算法，将布局自动重组为隐含时间信息的设计序列，并以画布图像的视觉特征作为初始状态，模拟人的设计行为，自动生成与画布内容兼容的布局。实验结果验证了新基准和新方法的有效性，能够达到人类设计师的广告设计质量。