2022-07-21:研究室的1篇无监督跨媒体哈希论文被中国电子学报英文版接收
研究室的1篇无监督跨媒体哈希论文被中国电子学报英文版Chinese Journal of Electronics接收:Zhaoda Ye, Xiangteng He, Yuxin Peng*, "Unsupervised Cross-media Hashing Learning via Knowledge Graph", Chinese Journal of Electronics, 2022。祝贺叶钊达同学!
由于标注信息在实际应用中获取困难,导致有监督跨媒体哈希难以直接应用,因此需要研究无监督跨媒体哈希方法,降低对标注信息的依赖。现有无监督跨媒体哈希旨在直接建立跨媒体数据表征的关联并计算相似度,但缺少了语义信息的参与,导致在检索任务上性能不高。因此本文提出了知识引导的无监督跨媒体哈希方法,首先利用对象检测模型提取视觉内容中的对象概念,与文本中的实体概念实现初步对齐。为了进一步挖掘零散的视觉中对象概念与文本中实体概念间的高层语义关联,引入了知识图谱并建立了概念的语义关联图,为跨媒体哈希函数的学习提供了丰富的语义关联,有效提升了哈希码在跨媒体检索任务中的准确率。此外,本方法还提出了基于关联矩阵的联合训练框架,同时利用跨媒体数据的语义关联与特征关联,进一步提高了哈希码的检索准确率。本方法在公开评测数据集NUS-WIDE、MIRFlickr、WikiPedia上进行了广泛验证,结果表明了本方法的有效性。
由于标注信息在实际应用中获取困难,导致有监督跨媒体哈希难以直接应用,因此需要研究无监督跨媒体哈希方法,降低对标注信息的依赖。现有无监督跨媒体哈希旨在直接建立跨媒体数据表征的关联并计算相似度,但缺少了语义信息的参与,导致在检索任务上性能不高。因此本文提出了知识引导的无监督跨媒体哈希方法,首先利用对象检测模型提取视觉内容中的对象概念,与文本中的实体概念实现初步对齐。为了进一步挖掘零散的视觉中对象概念与文本中实体概念间的高层语义关联,引入了知识图谱并建立了概念的语义关联图,为跨媒体哈希函数的学习提供了丰富的语义关联,有效提升了哈希码在跨媒体检索任务中的准确率。此外,本方法还提出了基于关联矩阵的联合训练框架,同时利用跨媒体数据的语义关联与特征关联,进一步提高了哈希码的检索准确率。本方法在公开评测数据集NUS-WIDE、MIRFlickr、WikiPedia上进行了广泛验证,结果表明了本方法的有效性。