主页
2017-11-08：研究室的1篇图像细分类论文OPAM被图像处理领域的顶级国际期刊TIP接收
本研究室的1篇论文被TIP接收为Regular论文：Yuxin Peng, Xiangteng He, and Junjie Zhao, "Object-Part Attention Model for Fine-grained Image Classification", IEEE Transactions on Image Processing (TIP),2017。祝贺何相腾同学，赵俊杰同学！
针对细粒度图像分类问题，本文从仿生学原理出发，模拟人类视觉注意力能够定位、缩放关键区域的功能，提出了对象-部件两级注意力深度模型。在对象级注意力上，首先提出了自顶向下的对象级视觉注意力选择方法，基于类别概率的驱动来提取包含对象类别的图像块以扩充训练数据，使得深度网络学习多尺度、多区域的细节特征；其次，提出了基于显著性驱动的对象检测方法，自动定位图片中的对象区域，去除背景噪音信息，使得深度网络学习到更多的对象特征，提升识别能力。在部件级注意力上，首先，提出了对象-部件空间约束模型, 利用视觉对象区域与显著性部件之间以及显著性部件相互之间的空间关系约束，实现了显著性部件的有效选择；其次，提出了基于卷积激活响应的部件对齐方法，通过对已选择的显著性部件进行语义对齐以排除对象姿态、视角等差异带来的干扰。通过两级注意力驱动的联合学习，提高了图像细粒度分类效果。相比于现有方法，本方法的训练和测试两个阶段均不使用图像中对象位置的标注信息，只需要图像类别的标注信息，能够在节约大量人工标注成本的同时取得更高的准确率，适合扩展到大规模图像的细粒度分析应用。
论文下载: Object-Part Attention Model for Fine-grained Image Classification【pdf】【arXiv】
针对细粒度图像分类问题，本文从仿生学原理出发，模拟人类视觉注意力能够定位、缩放关键区域的功能，提出了对象-部件两级注意力深度模型。在对象级注意力上，首先提出了自顶向下的对象级视觉注意力选择方法，基于类别概率的驱动来提取包含对象类别的图像块以扩充训练数据，使得深度网络学习多尺度、多区域的细节特征；其次，提出了基于显著性驱动的对象检测方法，自动定位图片中的对象区域，去除背景噪音信息，使得深度网络学习到更多的对象特征，提升识别能力。在部件级注意力上，首先，提出了对象-部件空间约束模型, 利用视觉对象区域与显著性部件之间以及显著性部件相互之间的空间关系约束，实现了显著性部件的有效选择；其次，提出了基于卷积激活响应的部件对齐方法，通过对已选择的显著性部件进行语义对齐以排除对象姿态、视角等差异带来的干扰。通过两级注意力驱动的联合学习，提高了图像细粒度分类效果。相比于现有方法，本方法的训练和测试两个阶段均不使用图像中对象位置的标注信息，只需要图像类别的标注信息，能够在节约大量人工标注成本的同时取得更高的准确率，适合扩展到大规模图像的细粒度分析应用。