主页
2018-02-19：研究室的1篇视频分类论文被多媒体领域顶级国际期刊TCSVT接收
研究室独立完成的1篇视频分类论文被TCSVT接收为Regular论文：Yuxin Peng, Yunzhen Zhao and Junchao Zhang, "Two-stream Collaborative Learning with Spatial-Temporal Attention for Video Classification", IEEE Transactions on Circuits and Systems for Video Technology (TCSVT)， 2018。祝贺赵韫禛同学，张俊超同学！
现有视频分类方法忽略了视频中空域、时域注意力的共生关联关系，以及静态、运动信息之间的协同互补关系，这些关联线索的缺失导致视频分类准确率低。本文提出了时空注意力协同方法，通过空间-时序显著性选择和静态-运动自适应协同建模共生性、互补性等关联关系，提高了视频分类准确率。具体地，首先提出了空域-时域注意力联合模型，通过长短时记忆单元和类别显著图提取语义区分性较强的视频帧以及帧中的显著性区域，充分利用空域、时域注意力的共生关联关系学习更具辨识力的视频特征。进一步提出了静态-运动自适应协同模型，通过协同学习网络的交替训练机制使得视频中的静态、运动信息互为指导，充分利用静态、运动信息的协同互补关系提高视频语义建模准确性。本文在4个广泛使用的视频分类数据集上进行了实验验证，取得了比现有视频分类方法更高的准确率。
论文下载: Two-stream Collaborative Learning with Spatial-Temporal Attention for Video Classification【pdf】
现有视频分类方法忽略了视频中空域、时域注意力的共生关联关系，以及静态、运动信息之间的协同互补关系，这些关联线索的缺失导致视频分类准确率低。本文提出了时空注意力协同方法，通过空间-时序显著性选择和静态-运动自适应协同建模共生性、互补性等关联关系，提高了视频分类准确率。具体地，首先提出了空域-时域注意力联合模型，通过长短时记忆单元和类别显著图提取语义区分性较强的视频帧以及帧中的显著性区域，充分利用空域、时域注意力的共生关联关系学习更具辨识力的视频特征。进一步提出了静态-运动自适应协同模型，通过协同学习网络的交替训练机制使得视频中的静态、运动信息互为指导，充分利用静态、运动信息的协同互补关系提高视频语义建模准确性。本文在4个广泛使用的视频分类数据集上进行了实验验证，取得了比现有视频分类方法更高的准确率。