主页
2019-04-09：研究室的1篇跨媒体迁移学习论文被TMM接收
本研究室的1篇论文被TMM接收为Regular Paper：Xin Huang and Yuxin Peng, “TPCKT: Two-level Progressive Cross-media Knowledge Transfer”, IEEE Transactions on Multimedia (TMM), 2019。祝贺黄鑫同学！
如何从已有大规模跨媒体数据集中迁移知识，促进新的小规模数据集上的模型训练与检索，是跨媒体检索中的一个重要问题，对实际应用具有重要意义。然而，跨媒体数据是多种媒体的复合结构，具有复杂的知识与较大的域间差异，如何迁移是一个困难的问题。本文提出了两阶段渐进式跨媒体知识迁移（TPCKT）方法。一方面提出了两级对抗迁移网络结构，通过在媒体独有和媒体共享两个层次上构建域判别器，并同时训练两级对抗网络，实现媒体内与媒体间的跨域知识迁移；另一方面提出渐进式语义迁移机制，通过迭代反馈自适应地从两个域中选择语义相近的概念，由易到难进行知识迁移，使得域间差异逐渐减小，提高了知识迁移的鲁棒性与检索的准确率。实验采用了我们构建的大规模跨媒体数据集PKU XMediaNet为源域，在3个广泛使用的小规模数据集上进行知识迁移和跨媒体检索，验证了所提方法的有效性。
如何从已有大规模跨媒体数据集中迁移知识，促进新的小规模数据集上的模型训练与检索，是跨媒体检索中的一个重要问题，对实际应用具有重要意义。然而，跨媒体数据是多种媒体的复合结构，具有复杂的知识与较大的域间差异，如何迁移是一个困难的问题。本文提出了两阶段渐进式跨媒体知识迁移（TPCKT）方法。一方面提出了两级对抗迁移网络结构，通过在媒体独有和媒体共享两个层次上构建域判别器，并同时训练两级对抗网络，实现媒体内与媒体间的跨域知识迁移；另一方面提出渐进式语义迁移机制，通过迭代反馈自适应地从两个域中选择语义相近的概念，由易到难进行知识迁移，使得域间差异逐渐减小，提高了知识迁移的鲁棒性与检索的准确率。实验采用了我们构建的大规模跨媒体数据集PKU XMediaNet为源域，在3个广泛使用的小规模数据集上进行知识迁移和跨媒体检索，验证了所提方法的有效性。