首页单模态模型（Unimodal Model）只能处理一种形式的输入数据，纯文本、纯图像或纯语音；多模态模型（Multimodal Model）则能同时处理两种及以上形式的数据，并在它们之间建立关联。
一. 跨模态语义对齐
单模态模型活在一个封闭的世界里：文本模型只需要搞懂词和词之间的关系，图像模型只需要搞懂像素和像素之间的关系，各管各的一亩三分地。
多模态模型要解决的是一个更麻烦的问题，一张狗的照片、”狗”这个字、还有一段”汪汪”叫声，模型得知道这三样东西说的是同一件事。这个能力叫跨模态语义对齐，也是多模态模型真正的技术门槛。它同时也解释了一个很现实的问题：为什么多模态模型的训练成本总是居高不下。因为你需要的不是随便找来的图片、随便找来的文字，而是图文对、音文对这种”配好对”的数据，采集和清洗的成本比单模态数据高得多。
另外，把一个图像识别模型和一个文本模型用几行规则代码接起来，那不叫多模态模型，顶多算”两个单模态模型在打配合”。真要遇到需要联合判断的场景，比如判断一个人脸上的表情和他嘴里说的话是不是拧巴的，这种拼凑出来的系统立刻就露馅了。真正的多模态模型是从训练那一刻起，不同模态的数据就已经在同一套参数里搅在一起了。
二. 一张表说清楚该怎么选
| 维度 | 单模态模型 | 多模态模型 |
|---|---|---|
| 输入类型 | 纯文本 / 纯图像 / 纯语音，只认一种 | 两种及以上组合着来 |
| 典型任务 | 文本分类、图像识别、语音识别 | 图文问答、视频理解、实时语音视觉交互 |
| 训练数据 | 单一标注数据，网上能扒到不少 | 要配对、对齐，采集和清洗都费劲 |
| 延迟和算力开销 | 模型轻，跑得快 | 明显更重，端到端架构尤其吃资源 |
| 可控性 | 行为边界清楚，好排查问题 | 端到端架构基本是黑盒，出了问题不好定位 |
| 适合的场景 | 任务单一、对成本延迟敏感 | 必须跨模态才能判断对错的真实场景 |
三. 三个经常被说错的地方
“多模态就是比单模态聪明”
不见得。碰到纯文本的意图分类这种活儿，一个几百 MB 的小模型可能比调一次多模态大模型又快又准，成本还低一个数量级。多模态模型强在需要联合判断的任务上，不代表它在每件事上都更划算。
“能处理的模态越多，说明模型越强”
市面上打着”全模态”旗号的模型不少，真上手测一圈就会发现，视觉理解可能很能打，语音那块却明显拖后腿。模态数量只是个宣传数字，融合得好不好才是真本事。选型的时候别看列表长不长，盯着自己最在意的那个模态单独测。
“有了多模态模型，单模态引擎就该退休了”
实际生产系统里更常见的做法是两者混着用：多模态模型负责”理解”，专门的单模态引擎负责”执行”。比如意图理解和跨模态推理交给多模态模型，语音合成还是交给专门的 TTS 引擎——音色定制、发音准确率、合成延迟这些细节，专用引擎目前还是比大模型自带的生成能力更可控。
四. 几个经常被问到的问题
单模态模型能直接”升级”成多模态吗？
靠外挂一个模块是做不到的。真要具备多模态能力，架构和训练数据都得重新设计，得引入跨模态编码器，还要做对齐训练。
多模态模型必须从零训练吗？
大多数情况下不用。常见做法是拿一个已经训练好的单模态 LLM 打底，加上模态编码器，再做一轮跨模态对齐训练接上去——这样能借用 LLM 原本的语言能力，省不少训练成本。
做实时音视频产品，到底该选哪种？
场景只涉及一种模态（比如纯文字客服），单模态更划算；需要语音视觉联合理解、但对成本和可控性比较在意，级联式多模态是更稳的起点；只有当延迟要求已经卡到极致、又能扛住更高的成本和更差的可控性，才值得直接上原生端到端多模态模型。
