主页
2019-03-21：研究室的1篇跨媒体检索论文被TCSVT接收
研究室的1篇论文被TCSVT接收为Regular论文：Yuxin Peng and Jinwei Qi, "Reinforced Cross-media Correlation Learning by Context-aware Bidirectional Translation", IEEE Transactions on Circuits and Systems for Video Technology (TCSVT), 2019。祝贺綦金玮同学！
本文借鉴了机器翻译的思想并应用于跨媒体检索中，通过将图像和文本看作两种不同的语言，提出了跨媒体双向翻译方法并结合强化学习来提升翻译效果，实现准确的跨媒体检索。首先，提出了跨媒体双向翻译机制，通过基于残差注意力的跨媒体上下文感知网络挖掘图像和文本的细粒度上下文信息，建立图像特征空间与文本特征空间的映射机制，实现图像特征与文本特征之间的相互翻译，不仅能充分利用不同媒体内部特有的信息，还能通过双向翻译促进跨媒体关联学习。进一步提出了跨媒体强化学习策略，设计了两种奖励信号包括媒体间关联学习误差和媒体内重建误差，通过两者之间的相互促进提高跨媒体关联学习的效果。本文在三个广泛使用的跨模态数据集上验证了有效性，包括Wikipedia、Pascal Sentence和PKU XMediaNet数据集。
本文借鉴了机器翻译的思想并应用于跨媒体检索中，通过将图像和文本看作两种不同的语言，提出了跨媒体双向翻译方法并结合强化学习来提升翻译效果，实现准确的跨媒体检索。首先，提出了跨媒体双向翻译机制，通过基于残差注意力的跨媒体上下文感知网络挖掘图像和文本的细粒度上下文信息，建立图像特征空间与文本特征空间的映射机制，实现图像特征与文本特征之间的相互翻译，不仅能充分利用不同媒体内部特有的信息，还能通过双向翻译促进跨媒体关联学习。进一步提出了跨媒体强化学习策略，设计了两种奖励信号包括媒体间关联学习误差和媒体内重建误差，通过两者之间的相互促进提高跨媒体关联学习的效果。本文在三个广泛使用的跨模态数据集上验证了有效性，包括Wikipedia、Pascal Sentence和PKU XMediaNet数据集。