主页
2019-02-02：研究室的1篇零样本跨媒体检索论文被TCSVT接收
本研究室的1篇论文被TCSVT接收为Regular论文：Jingze Chi and Yuxin Peng, “Zero-shot Cross-media Embedding Learning with Dual Adversarial Distribution Network”, IEEE Transactions on Circuits and Systems for Video Technology (TCSVT), 2019。祝贺迟敬泽同学！
现有跨媒体检索方法的训练集和测试集类别通常完全相同，导致不能有效地支持新类别数据的检索。在实际应用中，面对数量巨大且不断增长的类别，跨媒体数据的采集和标注都是极为费时费力的。因此，如何提高对于新类别检索的扩展能力，是跨媒体检索走向实际应用的一大挑战。本文针对零样本跨媒体检索问题，提出了对偶对抗分布网络（DADN），利用类别语义特征中的知识构建跨媒体统一表征，提高对新类别跨媒体数据的检索效果。首先，提出跨媒体对偶生成对抗结构，跨媒体数据原始特征与统一表征通过生成对抗网络进行互相转换，两种转换构成对偶关系并互相促进，进一步挖掘跨媒体数据的语义信息和潜在结构信息，从而加强对不同类别数据的泛化能力；其次，提出分布匹配策略和对抗媒体间度量约束，建模已知类别和未知类别间的语义关联，加强对新类别检索的扩展能力，同时提升统一表征的媒体间关联和语义排序能力。该方法在四个广泛使用的跨媒体检索数据集上验证了有效性。
现有跨媒体检索方法的训练集和测试集类别通常完全相同，导致不能有效地支持新类别数据的检索。在实际应用中，面对数量巨大且不断增长的类别，跨媒体数据的采集和标注都是极为费时费力的。因此，如何提高对于新类别检索的扩展能力，是跨媒体检索走向实际应用的一大挑战。本文针对零样本跨媒体检索问题，提出了对偶对抗分布网络（DADN），利用类别语义特征中的知识构建跨媒体统一表征，提高对新类别跨媒体数据的检索效果。首先，提出跨媒体对偶生成对抗结构，跨媒体数据原始特征与统一表征通过生成对抗网络进行互相转换，两种转换构成对偶关系并互相促进，进一步挖掘跨媒体数据的语义信息和潜在结构信息，从而加强对不同类别数据的泛化能力；其次，提出分布匹配策略和对抗媒体间度量约束，建模已知类别和未知类别间的语义关联，加强对新类别检索的扩展能力，同时提升统一表征的媒体间关联和语义排序能力。该方法在四个广泛使用的跨媒体检索数据集上验证了有效性。