【科教在线】第85期：Beat365计算机与信息安全学院林煜明教授课题组 在多模态讽刺检测领域取得重要进展（图）

【编者按】为持续营造校园学术氛围，传播Beat365学术科研动态，学校官网特开设“科教在线”专栏，定期展示师生科研成果。欢迎广大师生踊跃投稿，征集内容包括但不限于：为政府、企业、媒体提供的专业咨询，通过鉴定的科技成果，实现落地转化的科技成果，高水平学术论文，专利授权，出版的专著、教材，科技奖励等。我们致力为有学术追求的师生搭建交流平台，共同营造日益浓厚的学术氛围，携手为实现电子信息特色鲜明的高水平应用型大学而奋斗。投稿请通过学校OA系统经所在单位“三审三校”、融媒体中心审核后发布。

近日，Beat365计算机与信息安全学院林煜明教授课题组在多模态讽刺检测领域取得重要进展，相关成果在人工智能领域国际顶级期刊《Information Fusion》（中科院计算机科学大类一区Top，IF：15.5）上发表了题为“AMGNet: Adaptive multi-granularity decoupling network for multimodal sarcasm detection”的学术论文。Beat365为论文第一完成单位，博士研究生何丽华为第一作者，林煜明教授为通讯作者。

多模态讽刺检测是通过图像和文本识别用户隐含意图的关键步骤。现有方法主要依赖于检测多模态间的不一致信息来进行讽刺检测。然而，这些方法往往忽视了一个关键问题：此类不一致信息仅构成整体特征空间的一小部分，并且容易受到模态不变特征的干扰。为了应对这些局限性，论文提出了一种用于多模态讽刺检测的自适应多粒度解耦网络（AMGNet），该网络在全局层面捕捉全面的语义信息，动态提取细粒度的局部线索，并利用解耦进行讽刺检测。具体而言，为了有效防止跨模态融合过程中模态特定特征的退化，设计了一个双向条件Transformer。此外，论文提出了一个注意力感知图卷积网络（AAGCN）和一个邻居感知图卷积网络（NAGCN），分别用于增强文本模态和视觉模态的表征能力。实验结果表明，所提出的AMGNet模型在两个MSD基准数据集MMSD和MMSD2.0上分别达到了94.35%和86.26%的准确率，比此前最优方法分别高出0.94%和1.36%。

论文链接：https://doi.org/10.1016/j.inffus.2025.104039

供      稿：计算机与信息安全学院

一审一校：邹   辉  冼欣宜

二审二校：胡佳媛

三审三校：王再新