主页
2018-06-27：研究室的1篇跨媒体检索论文被图像处理领域的CCF A类国际期刊TIP接收
本研究室的1篇论文被TIP接收为Regular论文： Yuxin Peng, Jinwei Qi and Yuxin Yuan “Modality-specific Cross-modal Similarity Measurement with Recurrent Attention Network”, IEEE Transactions on Image Processing (TIP), 2018。祝贺綦金玮同学，袁玉鑫同学！
现有跨媒体检索方法往往将不同模态的数据通过映射矩阵或深度模型同等地投射到统一空间来挖掘其间潜在的对齐关系，然而不同模态数据在描述同一语义时，往往包含不对等的信息，且某些模态内部独有的信息并不能很好的与其他媒体表述的内容进行对齐。针对上述问题，本文提出了一种基于特定模态语义空间建模的跨模态相似性学习方法，为每种模态数据分别构造针对该特定模态的语义空间，通过循环注意力网络建模模态内部的细粒度信息以及空间上下文信息，然后提出基于注意力机制的联合关联学习将其他模态数据投射到该模态的语义空间，充分学习不同模态之间不平衡的关联信息，最后使用动态融合的方法将从不同模态语义空间得到的跨模态相似度进行融合，进一步挖掘不同模态语义空间的互补性，提高了跨媒体检索的准确率。
论文下载: Modality-specific Cross-modal Similarity Measurement with Recurrent Attention Network【pdf】
现有跨媒体检索方法往往将不同模态的数据通过映射矩阵或深度模型同等地投射到统一空间来挖掘其间潜在的对齐关系，然而不同模态数据在描述同一语义时，往往包含不对等的信息，且某些模态内部独有的信息并不能很好的与其他媒体表述的内容进行对齐。针对上述问题，本文提出了一种基于特定模态语义空间建模的跨模态相似性学习方法，为每种模态数据分别构造针对该特定模态的语义空间，通过循环注意力网络建模模态内部的细粒度信息以及空间上下文信息，然后提出基于注意力机制的联合关联学习将其他模态数据投射到该模态的语义空间，充分学习不同模态之间不平衡的关联信息，最后使用动态融合的方法将从不同模态语义空间得到的跨模态相似度进行融合，进一步挖掘不同模态语义空间的互补性，提高了跨媒体检索的准确率。