多模态大规模语言模型（MultimodalLarge-scaleLanguageModel，MLLM）是当前备受关注的新兴研究热点，它利用强大的大规模语言模型作为大脑来执行多模态任务。近年来，大规模语言模型取得了显著的进展，通过扩大数据规模和模型规模，这些LLM展现出包括上下文学习、指令跟随和思维链等涌现能力。虽然LLM在大多数自然语言处理任务上表现出优异的零/少样本推理性能，但它们在视觉方面存在“盲区”，因为它们只能理解离散的文本。

模态与多模态

在介绍之前，我们先了解一下什么是模态，其是指一些表达或感知事物的方式，每一种信息的来源或者形式都可以称为一种模态。例如，人的触觉、听觉、视觉、嗅觉；信息的媒介，如语音、视频、文字等；多种多样的传感器，如雷达、红外、加速度计等。相较于图像、语音、文本等多媒体数据划分形式，“模态”是一个更为细粒度的概念，同一媒介下可存在不同的模态。例如我们可以把两种不同的语言当作两种模态，甚至在两种不同情况下采集到的数据集亦可认为是两种模态。多模态即是从多个模态来表达或感知事物。多模态可分为同质性的模态，例如从两台相机中分别拍摄的图片，以及异质性的模态，例如图片与文本语言的关系。多模态可能有以下三种形式：

（1）描述同一对象的多媒体数据。如互联网环境下描述某一特定对象的视频、图片、语音、文本等信息，即为典型的多模态信息形式。

（2）来自不同传感器的同一类媒体数据。如医学影像学中不同的检查设备所产生的图像数据，包括B超、计算机断层扫描（CT）、核磁共振等；物联网背景下不同传感器所检测到的同一对象数据等。

（3）具有不同的数据结构特点、表示形式的表意符号与信息。如描述同一对象的结构化、非结构化的数据单元；描述同一数学概念的公式、逻辑符号、函数图及解释性文本；描述同一语义的词向量、词袋、知识图谱以及其他语义符号单元等。通常语言模型中主要研究的多模态是人跟人交流时的多模态，包括“3V”：文本（Verbal）、语音（Vocal）、视觉（Visual）。多模态语言模型不仅支持文本输入输出，还支持图片、音频和视频输入输出。

典型多模态模型

多模态语言模型MultiModal-GPT和Otter支持将图片和文本作为输入。MultiModal-GPT模型的整体框架如图9.1所示，其可以将图片和文本作为输入，最后通过语言模型解码成文本输出。MultiModal-GPT基于openFlamingo，增加了LoRA参数，在视觉和文本数据上进行指令微调。MultiModal-GPT由视觉编码器、用于接收来自视觉编码器空间特征的感知器重采样器和语言解码器组成。语言解码器将来自感知器重采样器的空间特征作为输入，按顺序交叉注意将视觉特征编码为文本。微调过程中冻结整个openFlamingo模型并将LoRA添加到语言解码器中的自注意力部分、交叉注意力部分、FFN部分进行微调得到MultiModal-GPT。

图9.1 MultiModal-GPT模型的整体框架

Video-llama、Macaw-LLM、X-LLM支持将图片、视频、声音和文本作为输入。Macaw-LLM模型的整体框架如图9.2所示，主要包含模态模块、对齐模块和认知模块这三个模块，Macaw-LLM实现了各种输入模态的统一，其可以将图片、声音、视频和文本作为输入，最后通过语言模型解码成文本输出。

图9.2 Macaw-LLM模型的整体框架

PandaGPT将图像（视频）、文本、音频、深度、热力（红外）和运动惯性单元（IMU）数据作为输入，最后通过语言模型解码成文本输出，其框架如图9.3所示。PandaGPT结合了ImageBind的多模态编码器和Vicuna大规模语言模型，利用ImageBind的强大能力，把不同模态数据串联在一个嵌入空间，让其从多维度理解世界。其只需要利用对齐的图像-文本对进行训练，就可以将来自上述提到的六个不同模态的数据嵌入同一空间中，而实现零样本的跨模态能力。

图9.3 PandaGPT的整体框架

其实这些模型的结构都大同小异，都是以现有的大规模语言模型为核心，在多模态输入和多模态输出侧分别加上一个编码器和一个解码器或扩散模型（DiffusionModel）生成模型。编码器就是把图片、音频和视频编码成大规模语言模型所能理解的向量，根据大规模语言模型的输出解码器生成文本，或扩散模型生成图片、音频和视频。

MLLM多模态模型的优势

目前，大型视觉基础模型在感知方面取得了快速进展，传统的视觉和文本的结合更加注重模态对齐和任务统一，在推理方面发展缓慢。鉴于这种互补性，单模态LLM和视觉模型逐渐融合，最先形成了多模态大规模语言模型的新领域。从发展人工通用智能的角度来看，MLLM可能比单模态的LLM更有优势，原因如下：

（1）MLLM更符合人类感知世界的方式。人类自然地接收互补和协作的多感官输入。因此，多模态信息有望使MLLM更加智能化。

（2）MLLM提供了更用户友好的界面。由于多模态输入的支持，用户可以更灵活的方式与智能助手交互和沟通。

（3）MLLM是更全面的任务解决者。MLLM通常可以支持更多、更广泛和更复杂的任务。

图9.4 NExT-GPT将LLM与多模态适配器、解码器连接

GPT-4展示了令人惊叹的能力，掀起了对MLLM的研究狂潮，研究界也做了许多努力来开发功能强大且开源的MLLM，并展示了一些令人惊讶的实际能力，如基于图像编写网站代码，理解模型的深层含义和无须OCR的数学推理，这些能力在传统方法中很少见，这表明了通往人工通用智能的潜在路径。

全文引自《开启智能对话新纪元：大规模语言模型的探索与实践》