崇新学堂2018级本科生荣获国际会议ICIGP 2022最佳论文奖和最佳报告奖
作者:文/陈言        发布时间:2022-01-13        点击数:

近日,信息科学与工程学院崇新学堂2018级本科生王蓬禹参加International Conference on Image and Graphics Processing (ICIGP 2022),并宣讲了”Micro-expression Recognition based on Bimodal Contrastive Learning”的文章,文章获评分会场Best Paper(最佳论文奖),会议现场报告获评Best Presentation(最佳报告奖),论文将被推荐到International Journal of Computer Applications in Technology (IJCAT)期刊,指导教师为贲晛烨教授。

微表情是一种持续时间短、运动幅度小和非自愿的面部表情,人类和机器很难分类这些微表情。考虑到微表情数据样本不仅包含情绪类别的特征,还包含样本之间的通用特征,本文提出了基于双模态对比学习的微表情识别网络,该网络主要包括三个模块:双模态特征提模块、双模态对比学习融合模态和分类识别模块。首先将微表情序列分成RGB序列和光流序列,利用对比学习构建RGB序列和光流序列之间的对比学习损失,使得网络可以学习到两种模态的通用特征;然后,为了学习到微表情的类别信息,本文将模态特征进行融合,并利用标签数据优化模型。保证网络在通过对比学习学习到两种模态之间的共享信息的同时,又能通过监督学习学习到不同类别的特征。此方法在CASME II、SAMM和MMEW上进行了广泛的实验,验证了所提算法的有效性。

本论文研究工作得到了国家自然科学基金项目、国家重点研发计划以及山东省重大科技创新工程等项目的资助。