主页
2017-04-25：研究室独立完成的1篇论文被人工智能领域顶级国际会议IJCAI 2017录用为长文
本研究室的1篇论文Xin Huang, Yuxin Peng, and Mingkuan Yuan, "Cross-modal Common Representation Learning by Hybrid Transfer Network"被IJCAI 2017录用为长文。IJCAI是人工智能领域的顶级国际会议，也是CCF推荐的A类会议。本次共有2540 篇论文提交，接收率为26%。祝贺黄鑫同学，袁明宽同学！
如何将蕴含于单模态数据集（如ImageNet）的知识迁移到跨模态域以缓解跨模态训练样本不足的问题，是基于深度学习的跨模态检索面临的一大挑战。针对上述问题，本文提出了基于混合迁移网络的跨模态统一表征方法，实现了从单模态源域到跨模态目标域的知识迁移。本网络由两个子网络构成：模态共享迁移网络和层共享关联网络。其中模态共享迁移网络以源域和目标域的共有模态为桥梁，使得单模态迁移与跨模态迁移能够联合进行；层共享关联网络则通过层共享的方式增强跨模态关联，使得统一表征更加符合跨模态域上已知的语义关联。上述两个子网络构成端到端的联合结构，在实现从单一模态到多种模态知识迁移的同时，也通过强调目标域的语义关联以生成更加适合跨模态检索的统一表征。本方法的有效性在3个广泛使用的跨模态数据集上得到了验证，包括Wikipedia数据集，NUS-WIDE-10k数据集和Pascal Sentence数据集。
论文下载: Cross-modal Common Representation Learning by Hybrid Transfer Network【pdf】【arXiv】
如何将蕴含于单模态数据集（如ImageNet）的知识迁移到跨模态域以缓解跨模态训练样本不足的问题，是基于深度学习的跨模态检索面临的一大挑战。针对上述问题，本文提出了基于混合迁移网络的跨模态统一表征方法，实现了从单模态源域到跨模态目标域的知识迁移。本网络由两个子网络构成：模态共享迁移网络和层共享关联网络。其中模态共享迁移网络以源域和目标域的共有模态为桥梁，使得单模态迁移与跨模态迁移能够联合进行；层共享关联网络则通过层共享的方式增强跨模态关联，使得统一表征更加符合跨模态域上已知的语义关联。上述两个子网络构成端到端的联合结构，在实现从单一模态到多种模态知识迁移的同时，也通过强调目标域的语义关联以生成更加适合跨模态检索的统一表征。本方法的有效性在3个广泛使用的跨模态数据集上得到了验证，包括Wikipedia数据集，NUS-WIDE-10k数据集和Pascal Sentence数据集。