什么是多模态机器学习？
首先，什么叫做模态（Modality）呢？
每一种信息的来源或者形式，都可以称为一种模态。例如，人有触觉，听觉，视觉，嗅觉；信息的媒介，有语音、视频、文字等；多种多样的传感器，如雷达、红外、加速度计等。以上的每一种都可以称为一种模态。
同时，模态也可以有非常广泛的定义，比如我们可以把两种不同的语言当做是两种模态，甚至在两种不同情况下采集到的数据集，亦可认为是两种模态。
因此，多模态机器学习，英文全称 MultiModal Machine Learning (MMML)，旨在通过机器学习的方法实现处理和理解多源模态信息的能力。目前比较热门的研究方向是图像、视频、音频、语义之间的多模态学习。
多模态学习从1970年代起步，经历了几个发展阶段，在2010后全面步入Deep Learning阶段。
人其实是一个多模态学习的总和，所以也有”砖家“说了，多模态学习才是真正的人工智能发展方向。
本文将针对多模态学习在深度学习发面的研究方向和应用做相关介绍，主要参考了来自ACL 2017的《Tutorial on Multimodal Machine Learning》。
多模态学习的分类
多模态学习可以划分为以下五个研究方向：
- 多模态表示学习 Multimodal Representation
- 模态转化 Translation
- 对齐 Alignment
- 多模态融合 Multimodal Fusion
- 协同学习 Co-learning