主页
2020-07-09：研究室的1篇无监督跨媒体检索论文被TCYB接收
研究室的1篇无监督跨媒体检索论文被TCYB接收为Regular论文：Yuxin Peng, Zhaoda Ye, Jinwei Qi and Yunkan Zhuo, "Unsupervised Visual-textual Correlation Learning with Fine-grained Semantic Alignment", IEEE Transactions on Cybernetics (TCYB), Jul. 2020。祝贺叶钊达、綦金玮和卓昀侃！
现有的跨媒体检索方法依赖多模态数据的标注信息来学习关联信息，但难以处理缺少关联和标注情况下的无监督跨媒体检索。针对上述问题，论文提出了无监督语义指导的跨媒体检索方法，通过物体识别、实体抽取等手段提取图像和文本中的语义概念以代替传统的标注信息，通过对多模态数据的关联学习实现跨媒体检索。同时提出了无监督图像-文本细粒度语义对齐方法，并设计了两种注意力机制进一步挖掘图像-文本中细粒度语义信息，通过建立图像中的实体与文本片段的关联关系，进一步提高无监督条件下跨媒体关联学习的效果。
现有的跨媒体检索方法依赖多模态数据的标注信息来学习关联信息，但难以处理缺少关联和标注情况下的无监督跨媒体检索。针对上述问题，论文提出了无监督语义指导的跨媒体检索方法，通过物体识别、实体抽取等手段提取图像和文本中的语义概念以代替传统的标注信息，通过对多模态数据的关联学习实现跨媒体检索。同时提出了无监督图像-文本细粒度语义对齐方法，并设计了两种注意力机制进一步挖掘图像-文本中细粒度语义信息，通过建立图像中的实体与文本片段的关联关系，进一步提高无监督条件下跨媒体关联学习的效果。