Semantics-Enhanced Multi-Modal Fake News Detection
-
摘要: 近年来社交媒体逐渐成为人们获取新闻信息的主要渠道，但其在给人们带来方便的同时也促进了虚假新闻的传播.在社交媒体的富媒体化趋势下，虚假新闻逐渐由单一的文本形式向多模态形式转变，因此多模态虚假新闻检测正在受到越来越多的关注.现有的多模态虚假新闻检测方法大多依赖于和数据集高度相关的表现层面特征，对新闻的语义层面特征建模不足，难以理解文本和视觉实体的深层语义，在新数据上的泛化能力受限.提出了一种语义增强的多模态虚假新闻检测方法，通过利用预训练语言模型中隐含的事实知识以及显式的视觉实体提取，更好地理解多模态新闻的深层语义.提取不同语义层次的视觉特征，在此基础上采用文本引导的注意力机制建模图文之间的语义交互，从而更好地融合多模态异构特征.在基于微博新闻的真实数据集上的实验结果表明:该方法能够有效提高多模态虚假新闻检测的性能.Abstract: In recent years, social media has become the main access where people acquire the latest news. However, the convenience and openness of social media have also facilitated the proliferation of fake news. With the development of multimedia technology, fake news on social media has been evolving from text-only posts to multimedia posts containing images or videos. Therefore, multi-modal fake news detection is attracting more and more attention. Existing methods for multi-modal fake news detection mostly focus on capturing appearance-level features that are highly dependent on the dataset distribution but insufficiently exploit the semantics-level features. Thus, the methods often fail to understand the deep semantics of textual and visual entities in the fake news, which indeed limits the generalizability of models in real applications. To tackle this problem, this paper proposes a semantics-enhanced multi-modal model for fake news detection, which better models the underlying semantics of multi-modal news by implicitly utilizing the factual knowledge in the pre-trained language model and explicitly extracting the visual entities. Furthermore, the proposed method extracts visual features of different semantic levels and models the semantic interaction between the textual and visual features by the text-guided attention mechanism, which better fuses the multi-modal heterogeneous features. Extensive experiments on the Weibo dataset strongly evidence that our method outperforms the state of the art significantly.
-
Keywords:
- social media /
- fake news detection /
- multi-modal /
- knowledge fusion /
- attention mechanism
-
-
期刊类型引用(20)
1. 成雪，张琛，李清旭. 基于语义增强的虚假新闻检测. 计算机应用与软件. 2025(02): 202-209 . 
百度学术
2. 张廷，袁虎，赵小兵. 基于优先融合与模态注意力机制的虚假新闻检测. 计算机应用研究. 2025(05): 1392-1400 . 百度学术
3. 段钰潇，胡艳丽，郭浩，谭真，肖卫东. 改进的跨模态关联歧义学习的虚假信息检测方法研究. 计算机科学. 2024(04): 307-313 . 百度学术
4. 柯婧，谢哲勇，徐童，陈宇豪，廖祥文，陈恩红. 基于大语言模型隐含语义增强的细粒度虚假新闻检测方法. 计算机研究与发展. 2024(05): 1250-1260 . 本站查看
5. 王吉宏，赵书庆，罗敏楠，刘欢，赵翔，郑庆华. 基于信息瓶颈理论的鲁棒少标签虚假信息检测. 计算机研究与发展. 2024(07): 1629-1642 . 本站查看
6. 孙宇茹. 基于多文本图像的虚假新闻多模态检测模型研究. 微型电脑应用. 2024(07): 242-244+252 . 百度学术
7. 苏君华，宋雯琪. 人工智能生成内容技术赋能下的集群式信息攻防研究综述. 情报理论与实践. 2024(09): 9-21 . 百度学术
8. 冯雯璐，刘乃榕，田晓丽. 网络舆情事件中的谣言传播与智能化治理. 媒体融合新观察. 2024(06): 63-71 . 百度学术
9. 李骏. 基于多模态的谣言检测模型研究综述. 长江信息通信. 2023(01): 87-90 . 百度学术
10. 梁毅，吐尔地·托合提，艾斯卡尔·艾木都拉. 多层CNN特征融合及多分类器混合预测的多模态虚假信息检测. 计算机工程与科学. 2023(06): 1087-1096 . 百度学术
11. 邹傲，郝文宁，陈刚，靳大尉. 融合非偏好注意力跨度的预训练语言模型. 陆军工程大学学报. 2023(03): 49-57 . 百度学术
12. 刘华玲，陈尚辉，曹世杰，朱建亮，任青青. 基于多模态学习的虚假新闻检测研究. 计算机科学与探索. 2023(09): 2015-2029 . 百度学术
13. 崔浩男，潘洁敏. 记忆建构视角下多模态档案资源融合开发模式研究. 档案学研究. 2023(03): 96-103 . 百度学术
14. 高国鹏，房耀东，韩彦芳，钱振兴，秦川. 面向虚假新闻检测的社交媒体多模态数据集构建. 网络与信息安全学报. 2023(04): 144-154 . 百度学术
15. 曹娟，朱勇椿，亓鹏，黄子尧，杨天韵，王政嘉，卜语嫣. 数字内容生成、检测与取证技术综述. 大数据. 2023(05): 150-173 . 百度学术
16. 袁玥，刘永彬，欧阳纯萍，田纹龙，方文泷. 基于一对多关系的多模态虚假新闻检测. 中文信息学报. 2023(09): 131-139 . 百度学术
17. 刘帅，傅丽芳. 融合外部知识和用户交互特征的虚假新闻检测. 数据分析与知识发现. 2023(11): 79-87 . 百度学术
18. 曾江峰，王蕊，黎欣雨，马霄. 融合BERT和VGG模型多模态虚假新闻检测方法研究. 知识管理论坛. 2023(06): 502-513 . 百度学术
19. 常江，潘露. 6G、语义通信与新闻传播新样态：数字新闻学的视角. 广州大学学报(社会科学版). 2022(06): 5-16 . 百度学术
20. 李净. 国际视野下治理虚假新闻的技术手段及相关模型. 中国传媒科技. 2021(08): 17-21 . 百度学术
其他类型引用(24)
计量
- 文章访问数: 1467
- HTML全文浏览量: 31
- PDF下载量: 832
- 被引次数: 44
下载:
