主页
2019-11-07：研究室的1篇跨媒体推理论文被TCYB接收
研究室的1篇论文被TCYB接收为Regular论文：Xin Huang, Yuxin Peng and Zhang Wen, "Visual-textual Hybrid Sequence Matching for Joint Reasoning", IEEE Transactions on Cybernetics (TCYB), 2019。祝贺黄鑫同学和文章同学！
在涉及多媒体前提（如文本和图像）的蕴涵推理中，面临着两个难题：1. 如何突破“异构鸿沟”，综合利用前提中不同媒体的信息？2.如何突破蕴涵推理的模型训练难题，利用跨媒体检索任务的关联标注支持推理任务的模型训练？针对上述问题，本文提出了图文序列匹配的综合推理方法，将蕴涵推理任务建模为序列匹配问题，通过记忆注意力编码和自适应门限聚合，利用文本-文本、文本-图像、文本-图像-文本三种组合可能包含的逻辑关系，充分挖掘互补的跨媒体局部线索，实现综合推理；通过跨任务跨媒体迁移的模型训练方法，以三元组度量学习作为检索任务损失，预训练网络的局部表征部分，将检索任务蕴含的关联知识迁移至推理任务网络，提高推理准确率。本文基于文本蕴涵推理数据集SNLI，引入Flickr30k中的相应图像前提进行实验验证，验证了本文方法的有效性。
在涉及多媒体前提（如文本和图像）的蕴涵推理中，面临着两个难题：1. 如何突破“异构鸿沟”，综合利用前提中不同媒体的信息？2.如何突破蕴涵推理的模型训练难题，利用跨媒体检索任务的关联标注支持推理任务的模型训练？针对上述问题，本文提出了图文序列匹配的综合推理方法，将蕴涵推理任务建模为序列匹配问题，通过记忆注意力编码和自适应门限聚合，利用文本-文本、文本-图像、文本-图像-文本三种组合可能包含的逻辑关系，充分挖掘互补的跨媒体局部线索，实现综合推理；通过跨任务跨媒体迁移的模型训练方法，以三元组度量学习作为检索任务损失，预训练网络的局部表征部分，将检索任务蕴含的关联知识迁移至推理任务网络，提高推理准确率。本文基于文本蕴涵推理数据集SNLI，引入Flickr30k中的相应图像前提进行实验验证，验证了本文方法的有效性。