主页
2019-06-13：研究室的1篇跨模态哈希论文被TMM接收
本研究室的1篇论文被TMM接收为Regular论文：Jian Zhang and Yuxin Peng, “Multi-pathway Generative Adversarial Hashing for Unsupervised Cross-modal Retrieval”, IEEE Transactions on Multimedia (TMM), DOI:10.1109/TMM.2019.2922128, 2019。祝贺张健！
跨模态哈希方法通过学习哈希函数将异构数据映射到统一汉明空间实现高效灵活的跨模态检索，但现有的跨模态哈希方法一方面仅通过媒体内和媒体间的关联关系实现哈希函数的学习，忽视了多媒体数据本身潜在的流形结构分布，另一方面依赖成对的关联关系，只能同时对两种模态进行建模，忽视了多模态数据间复杂的关联关系。针对上述问题，本文提出了无监督多路对抗生成式哈希方法，能够同时建模5种不同模态的数据，充分利用了不同模态间复杂的关联关系，实现检索准确率的提高。方法首先提出了关联图模型捕捉不同模态间的潜在流形结构，旨在使流形结构相似的数据在汉明空间中距离更近，以提高检索准确率。其次提出了多路对抗生成式网络建模数据的流形结构分布：生成式网络挑选不同模态内的数据以构造符合流形结构分布的伪成对数据对迷惑判别器，而判别器分辨成对数据对是否来自真实的流形结构分布，并以此对抗训练提高。方法在泛用数据集NUS-WIDE、MIRFlickr和PKU XMedia数据集上验证了有效性。
跨模态哈希方法通过学习哈希函数将异构数据映射到统一汉明空间实现高效灵活的跨模态检索，但现有的跨模态哈希方法一方面仅通过媒体内和媒体间的关联关系实现哈希函数的学习，忽视了多媒体数据本身潜在的流形结构分布，另一方面依赖成对的关联关系，只能同时对两种模态进行建模，忽视了多模态数据间复杂的关联关系。针对上述问题，本文提出了无监督多路对抗生成式哈希方法，能够同时建模5种不同模态的数据，充分利用了不同模态间复杂的关联关系，实现检索准确率的提高。方法首先提出了关联图模型捕捉不同模态间的潜在流形结构，旨在使流形结构相似的数据在汉明空间中距离更近，以提高检索准确率。其次提出了多路对抗生成式网络建模数据的流形结构分布：生成式网络挑选不同模态内的数据以构造符合流形结构分布的伪成对数据对迷惑判别器，而判别器分辨成对数据对是否来自真实的流形结构分布，并以此对抗训练提高。方法在泛用数据集NUS-WIDE、MIRFlickr和PKU XMedia数据集上验证了有效性。