人类并不是从单模态中进行学习的，恰恰相反，我们会同时结合来自不同类型数据的信息来理解世界。
越来越多的基础大模型正在遵循人类学习的路径，基于多种模态数据进行训练，而且人工智能中的多模态并不局限于人类的感官，基础大模型可以通过其他类型的数据进行训练，包括红外图像、机器人中的传感器等。
多模态AI到底是什么？企业为什么要选择多模态AI？多模态AI的价值和影响到底有多大？为了回答以上问题，沙丘智库发布《多模态人工智能市场指南》，报告对多模态AI市场进行定义，梳理了多模态AI技术的演进历程，分析了多模态AI的四种类型以及模型示例，并列举了多模态AI的15种用例，旨在帮助企业快速了解多模态人工智能市场。
点击“沙丘智库”查阅完整报告，或咨询微信：zimu738
01
多模态人工智能是什么？
多模态人工智能模型同时使用多种类型的数据（也称为模态）进行训练，如图像、视频、音频和文本，在不同模态之间创建共享的数据表征，从而提高不同任务的性能。无论是在输出还是输出阶段，多模态人工智能模型可以处理不止一种模态的数据。
多模态不仅仅是将独立的单模态模型组装在一起，要训练一个多模态模型，需要同时接受不同模态数据的训练，这样才能融合所有信息，创建共享表征，释放出新的能力。
下图展示了从可独立使用或组合在一起的单模态模型到经过跨模态训练的真正多模态模型的演变过程。
02
为什么要选择多模态人工智能？
当前的人工智能主要是基于单模态，但人类并不是从单模态中进行学习的，恰恰相反，我们会同时结合来自不同类型数据的信息来理解这个世界。
多模态是生成式AI的下一个关键，尤其是对于大语言模型来说。这些额外的模态将有助于大语言模型更好地理解现实世界，并超越目前所能达到的水平。
早期的多模态人工智能模型主要使用两种模态，大多是图像和文本。随着技术的进步，多模态人工智能模型将越来越多地同时从两种以上的模态中进行学习。
多模态人工智能模型不仅可用于生成式AI任务，也可用于传统人工智能任务，如分类或回归。例如，多模态人工智能模型可以使用客户服务文本报告、通话音频和当地天气状况视频作为输入，更好地预测客户下一步的最佳行动（这是一种分类任务）。在业务实践中，多模态人工智能可用于多种任务和用例。
03
多模态人工智能的价值
多模态人工智能的优势在于：
• 增加稳健性：多模态可以通过减少对单一模态的依赖使基础模型更加稳健，同时使模型能够处理噪音或缺失的数据，并在不同模态之间消除信息歧义。
• 新的用例：跨模态处理数据的能力将开辟很多过去不可能实现的AI用例，例如视觉问题回答、多模态数据检索以及复杂的音视频生成等。
• 改善用户体验：基于声音、文本、图像和视频等多种形式，多模态人工智能可以使得人工智能与人类之间的交互形式变得更加丰富。例如，用户可以通过音频和图像的形式与虚拟助手进行交互，这将极大提高用户体验。
• 提高性能：通过整合跨模态信息，多模态人工智能模型可以提高特定用例的性能。例如，一个利用音频、文本和视频的客户情感模型能够捕捉到更多数据中的模式，并且表现优于单模态模型。
• 可扩展性更强：与仅在单一模态上训练的基础大模型（如大语言模型）相比，多模态人工智能可以使用更多的数据进行训练。训练数据的增加将使多模态人工智能模型更具可扩展性，因为它们可以使用视频、音频等模态的数据进行训练，而不仅仅是文本数据。
* 相关研究：
2024中国生成式AI技术市场指南
2024中国人工智能编码助手市场指南
2024中国向量数据库市场指南
2024中国AI Agent市场指南
...