主页
2017-07-21：研究室的1篇跨媒体检索论文CCL被TMM接收
本研究室的1篇论文被TMM接收为Regular论文：Yuxin Peng, Jinwei Qi, Xin Huang, and Yuxin Yuan, "CCL: Cross-modal Correlation Learning with Multi-grained Fusion by Hierarchical Network", IEEE Transactions on Multimedia, (TMM), 2017。祝贺綦金玮同学，黄鑫同学，袁玉鑫同学！
本论文针对如何有效建模不同模态的多粒度信息，以及模态内部和模态之间关联关系的问题，提出了一种基于多粒度层级网络的跨模态关联学习方法，针对单模态分离特征表示学习以及跨模态统一表征学习这两个阶段，采用层级网络结构充分建模模态内和模态间的关联关系。一方面，在单模态分离特征表示学习过程中，融合不同模态数据的细粒度和粗粒度特征表示，并联合优化模态内和模态间的关联学习。另一方面，在跨模态统一表征学习过程中，采用多任务学习框架，动态平衡模态内语义类别约束和模态间成对关联约束的学习过程，从而提高了跨模态检索的准确率。该方法在6个广泛使用的跨媒体数据集上验证了有效性，包括Wikipedia，NUS-WIDE-10K，NUS-WIDE，Pascal Sentence，Flickr30K和MS-COCO数据集。
论文下载: CCL: Cross-modal Correlation Learning with Multi-grained Fusion by Hierarchical Network【pdf】【arXiv】
本论文针对如何有效建模不同模态的多粒度信息，以及模态内部和模态之间关联关系的问题，提出了一种基于多粒度层级网络的跨模态关联学习方法，针对单模态分离特征表示学习以及跨模态统一表征学习这两个阶段，采用层级网络结构充分建模模态内和模态间的关联关系。一方面，在单模态分离特征表示学习过程中，融合不同模态数据的细粒度和粗粒度特征表示，并联合优化模态内和模态间的关联学习。另一方面，在跨模态统一表征学习过程中，采用多任务学习框架，动态平衡模态内语义类别约束和模态间成对关联约束的学习过程，从而提高了跨模态检索的准确率。该方法在6个广泛使用的跨媒体数据集上验证了有效性，包括Wikipedia，NUS-WIDE-10K，NUS-WIDE，Pascal Sentence，Flickr30K和MS-COCO数据集。