文献来源：Lahat D, Adali T, Jutten C. Multimodal data fusion: an overview of methods, challenges, and prospects[J]. Proceedings of the IEEE, 2015, 103(9): 1449-1477.


Multimodal data fusion: an overview of methods, challenges, and prospects

  • 行文架构
  • 引文
  • 什么是多模态？为什么需要多模态？
  • 多模态作为多样性的一种形式
  • 数据级别上面临的挑战
  • 模型设计层面上面临的挑战
  • 结论
  • 文献主要内容
  • 讨论两个主要问题：为什么需要数据融合；如何进行数据融合
  • 知识整理（作者在介绍多模态时，对多模态的应用进行了介绍，现总结如下）


行文架构

引文

什么是多模态？为什么需要多模态？

多模态作为多样性的一种形式

数据级别上面临的挑战

模型设计层面上面临的挑战

结论

文献主要内容

讨论两个主要问题：为什么需要数据融合；如何进行数据融合

现状（数据融合所面临的挑战）：由复杂系统产生的大量数据，有许多潜在的过程驱动，依赖于无法访问的大量变量；多样性的增加，造成研究问题的数量、类型和范围非常大；异构数据融合的困难。

  1. WHY：获得对现有系统的更统一的图像和全局视角；改进决策；探索性研究；回答有关系统的具体问题，如跨模式或时间识别共同和独特的元素。
  2. HOW：从数据级别和模型设计两个角度进行考虑。

知识整理（作者在介绍多模态时，对多模态的应用进行了介绍，现总结如下）

  1. 多感官系统
  1. 视听多模态
  2. 人机交互
  1. 生物医学、健康
  1. 理解大脑机制
  2. 医学诊断
  3. 开发非侵入性医学诊断技术
  4. 智能患者监控
  1. 环境研究
  1. 遥感和地球观测
  2. 气象监测
  3. 宇宙学

问题:
1、有部分文献中也将多模态数据融合称为多模态融合，那么这两者之间的区别是什么？
2、Baltrusaitis在2019年发布的文献《Multimodal Machine Learning:A Survey and Taxonomy》中,提出多模态机器学习中所遇到的五大挑战：模态表示、模态映射、模态对齐、模态融合、协作学习，那么这五者之间的区别是什么？