主页
2019-07-03：研究室的1篇细粒度跨媒体检索论文被ACM MM 2019接收
研究室独立完成的1篇论文被ACM MM 2019接收： Xiangteng He, Yuxin Peng and Liu Xie, “A New Benchmark and Approach for Fine-grained Cross-media Retrieval”, 27th ACM Multimedia Conference (ACM MM), pp. 1740-1748, Nice, France, Oct. 21 - 25, 2019。ACM MM是多媒体领域的顶级国际会议，也是CCF推荐的A类会议，本次大会共有936 篇论文提交，共录取248篇论文（录取率26.5%）。祝贺何相腾、谢柳同学！
现有跨媒体检索研究多聚焦在粗粒度跨媒体检索（Coarse-grained Cross-media Retrieval），而细粒度跨媒体检索（Fine-grained Cross-media Retrieval）的相关研究还很少。细粒度跨媒体检索是指用户任意给定一种媒体类型数据作为查询样例，检索得到与查询样例的细粒度类别相关的各种媒体数据。例如，用户给定一张里海燕鸥的图像，传统的粗粒度跨媒体检索返回的结果是与鸟类相关的各种媒体数据，而细粒度跨媒体检索返回的结果是与里海燕鸥相关的各种媒体数据。作为一个新兴的研究方向，细粒度跨媒体检索的数据集和评测基准还没有。因此，本文建立了细粒度跨媒体检索的数据集和评测基准，包含4种媒体类型（图像、文本、视频和音频），涵盖200个细粒度类别（“鸟”大类下的200个子类，如普通燕鸥、里海燕鸥、北极燕鸥等）。这是目前第一个包含多达4种媒体类型的细粒度跨媒体公开数据集和评测基准，有助于推动跨媒体检索的进一步研究与应用。
现有跨媒体检索研究多聚焦在粗粒度跨媒体检索（Coarse-grained Cross-media Retrieval），而细粒度跨媒体检索（Fine-grained Cross-media Retrieval）的相关研究还很少。细粒度跨媒体检索是指用户任意给定一种媒体类型数据作为查询样例，检索得到与查询样例的细粒度类别相关的各种媒体数据。例如，用户给定一张里海燕鸥的图像，传统的粗粒度跨媒体检索返回的结果是与鸟类相关的各种媒体数据，而细粒度跨媒体检索返回的结果是与里海燕鸥相关的各种媒体数据。作为一个新兴的研究方向，细粒度跨媒体检索的数据集和评测基准还没有。因此，本文建立了细粒度跨媒体检索的数据集和评测基准，包含4种媒体类型（图像、文本、视频和音频），涵盖200个细粒度类别（“鸟”大类下的200个子类，如普通燕鸥、里海燕鸥、北极燕鸥等）。这是目前第一个包含多达4种媒体类型的细粒度跨媒体公开数据集和评测基准，有助于推动跨媒体检索的进一步研究与应用。