2018-10-10:研究室的1篇跨模态生成式对抗网络论文被TOMM接收
研究室的1篇论文被TOMM接收为Regular论文:Yuxin Peng and Jinwei Qi, "CM-GANs: Cross-modal Generative Adversarial Networks for Common Representation Learning", ACM Transactions on Multimedia Computing, Communications, and Applications (TOMM), 2018。祝贺綦金玮同学!
现有的跨模态检索方法往往通过传统的关联学习训练策略学习跨模态统一表征,难以充分拟合不同模态数据的分布规律。因此,本文将生成式对抗网络引入到跨模态统一表征学习中,提出了跨模态生成式对抗网络。首先提出基于跨模态卷积自编码器的生成模型,通过联合建模模态间关联信息以及模态内重建信息,充分拟合不同模态数据的联合分布,进一步通过中间层的参数共享,实现不同模态之间的知识传递。然后提出了跨模态对抗学习机制,构造模态间判别模型及模态内判别模型,同时进行统一表征以及重建表征的判别,两种判别模型相互促进,并进一步通过生成模型与判别模型之间的对抗训练,提升了跨模态关联学习的效果。该方法在4个广泛使用的跨模态数据集上验证了有效性,包括Wikipedia,NUS-WIDE, Pascal Sentence和PKU XMediaNet数据集。
论文下载: CM-GANs: Cross-modal Generative Adversarial Networks for Common Representation Learning【pdf】
现有的跨模态检索方法往往通过传统的关联学习训练策略学习跨模态统一表征,难以充分拟合不同模态数据的分布规律。因此,本文将生成式对抗网络引入到跨模态统一表征学习中,提出了跨模态生成式对抗网络。首先提出基于跨模态卷积自编码器的生成模型,通过联合建模模态间关联信息以及模态内重建信息,充分拟合不同模态数据的联合分布,进一步通过中间层的参数共享,实现不同模态之间的知识传递。然后提出了跨模态对抗学习机制,构造模态间判别模型及模态内判别模型,同时进行统一表征以及重建表征的判别,两种判别模型相互促进,并进一步通过生成模型与判别模型之间的对抗训练,提升了跨模态关联学习的效果。该方法在4个广泛使用的跨模态数据集上验证了有效性,包括Wikipedia,NUS-WIDE, Pascal Sentence和PKU XMediaNet数据集。