主页
2018-08-30：研究室的1篇跨模态哈希论文被人工智能领域顶级国际期刊TCYB接收
本研究室的1篇论文被人工智能领域顶级国际期刊TCYB接收为Regular论文： Jian Zhang, Yuxin Peng and Mingkuan Yuan, "SCH-GAN: Semi-supervised Cross-modal Hashing by Generative Adversarial Network", IEEE Transactions on Cybernetics (TCYB), 2018。TCYB的最新影响因子是8.803。祝贺张健同学，袁明宽同学！
跨模态哈希方法通过把异构数据映射到统一汉明空间来实现快速灵活的跨模态检索，然而现有方法依赖于大量标注的跨模态数据进行训练，一方面跨模态数据涉及多种模态难以标注，另一方面现有方法也忽略了大量未标记跨模态数据中蕴含的丰富信息，难以实现有效的跨模态检索。针对上述问题，本文提出了一种基于生成式对抗网络的半监督跨模态哈希方法。首先，本方法提出了半监督跨模态生成式对抗网络，其中的生成模型试图为一种模态的查询从另一种模态的未标记数据中选择边缘样例，同时判别模型试图将所选边缘样例和查询对应的正样本区分。这两个模型通过对抗式训练，使得生成模型可以促进判别模型的性能，从而实现快速准确的跨模态检索。其次，本方法提出了一种基于强化学习的训练算法，生成模型将判别模型预测的相关性得分作为奖励，并尝试选择更接近边缘的实例来促进判别模型的训练，从而充分挖掘大量未标记跨模态数据中隐藏的丰富信息，进一步提高了跨模态检索的准确率。 本文方法的有效性在3个广泛使用的跨模态数据集Wikipedia，NUS-WIDE和MIRFlickr上得到了验证。
论文下载: SCH-GAN: Semi-supervised Cross-modal Hashing by Generative Adversarial Network【pdf】
跨模态哈希方法通过把异构数据映射到统一汉明空间来实现快速灵活的跨模态检索，然而现有方法依赖于大量标注的跨模态数据进行训练，一方面跨模态数据涉及多种模态难以标注，另一方面现有方法也忽略了大量未标记跨模态数据中蕴含的丰富信息，难以实现有效的跨模态检索。针对上述问题，本文提出了一种基于生成式对抗网络的半监督跨模态哈希方法。首先，本方法提出了半监督跨模态生成式对抗网络，其中的生成模型试图为一种模态的查询从另一种模态的未标记数据中选择边缘样例，同时判别模型试图将所选边缘样例和查询对应的正样本区分。这两个模型通过对抗式训练，使得生成模型可以促进判别模型的性能，从而实现快速准确的跨模态检索。其次，本方法提出了一种基于强化学习的训练算法，生成模型将判别模型预测的相关性得分作为奖励，并尝试选择更接近边缘的实例来促进判别模型的训练，从而充分挖掘大量未标记跨模态数据中隐藏的丰富信息，进一步提高了跨模态检索的准确率。 本文方法的有效性在3个广泛使用的跨模态数据集Wikipedia，NUS-WIDE和MIRFlickr上得到了验证。