• Jump to Content
北京大学计算机研究所多媒体信息处理研究室
[中文版] [English Version]
Document Title
主页
新闻
成员
招生方向
研究方向
主要论文
科研项目
国际评测
相关报道
发明专利
开设课程
学生荣誉
学术交流
活动休闲
2020-09-26:研究室的1篇跨媒体关联学习论文被IJCV接收

  研究室的1篇跨媒体关联学习论文被IJCV接收为Regular论文:Yuxin Peng, Jinwei Qi, Zhaoda Ye and Yunkan Zhuo, "Hierarchical Visual-Textual Knowledge Distillation for Life-Long Correlation Learning", International Journal of Computer Vision (IJCV), Oct. 2020。祝贺綦金玮、叶钊达和卓昀侃!
  多媒体数据的关联学习面临跨模态和跨域两方面的挑战。现有方法常常只考虑多媒体数据的跨模态问题,但忽视了跨域对关联学习带来的影响。为此,我们提出了基于多层次视觉-文本知识蒸馏的终身学习方法,能够同时解决关联学习中的跨模态与跨域挑战。针对关联学习中的跨模态问题,我们提出了多层次的视觉-文本循环神经网络,能够挖掘图像和文本中全局和局部的细粒度上下文信息,为跨模态关联学习提供多层级的语义信息。针对关联学习中的跨域问题,提出了基于终生学习的模型训练策略,不同于现有方法需要对新域数据重新训练整个模型,该论文通过可扩展的模型结构,仅仅需要重新训练与新域相关的少量参数,实现了单个模型同时对不同域的多媒体数据的关联学习。此外提出了媒体间注意力层级的知识迁移和域间语义层级的知识迁移策略,充分利用不同模态以及不同域中知识的互补性,促进了跨模态和跨域数据的关联学习。

北京大学王选计算机研究所多媒体信息处理研究室