主页
2019-06-30：研究室的1篇五种媒体跨媒体检索论文被TCSVT接收
本研究室的1篇论文被TCSVT接收为Regular论文：Yuxin Peng and Jinwei Qi, “Quintuple-media Joint Correlation Learning with Deep Compression and Regularization”, IEEE Transactions on Circuits and Systems for Video Technology (TCSVT), 2019。祝贺綦金玮同学！
现有基于深度学习的跨媒体检索方法通过构建多路深度网络结构建模不同媒体之间的关联关系，其中每一路网络分别对应一种媒体数据，然而随着跨媒体关联学习涉及的媒体类型不断增多，使得网络模型变得更加复杂且冗余，导致模型泛化性差。针对上述问题，本文提出了跨媒体深度压缩方法，同时学习5种媒体的关联关系，并且能够有效地减少网络模型参数。首先提出了跨媒体网络参数部分共享策略，在多路网络中将每路网络的部分参数进行共享，从而有效减少多路网络的参数数量，同时能够将不同媒体学习到的关联知识进行共享。其次提出了媒体自适应的网络剪枝策略，分别将各路网络中不重要的参数删除，有效地增强各自媒体内的独有信息。最后提出了跨媒体网络正则化策略，通过媒体内正则化和媒体间联合正则化，能够进一步促进跨媒体关联学习并保证模型的可泛化性。方法在包含5种媒体的数据集PKU XMedia和PKU XMediaNet上验证了有效性。
现有基于深度学习的跨媒体检索方法通过构建多路深度网络结构建模不同媒体之间的关联关系，其中每一路网络分别对应一种媒体数据，然而随着跨媒体关联学习涉及的媒体类型不断增多，使得网络模型变得更加复杂且冗余，导致模型泛化性差。针对上述问题，本文提出了跨媒体深度压缩方法，同时学习5种媒体的关联关系，并且能够有效地减少网络模型参数。首先提出了跨媒体网络参数部分共享策略，在多路网络中将每路网络的部分参数进行共享，从而有效减少多路网络的参数数量，同时能够将不同媒体学习到的关联知识进行共享。其次提出了媒体自适应的网络剪枝策略，分别将各路网络中不重要的参数删除，有效地增强各自媒体内的独有信息。最后提出了跨媒体网络正则化策略，通过媒体内正则化和媒体间联合正则化，能够进一步促进跨媒体关联学习并保证模型的可泛化性。方法在包含5种媒体的数据集PKU XMedia和PKU XMediaNet上验证了有效性。