全站搜索结果
方法与架构
先保住,再对齐,最后整合
论文把「多模态交互金字塔」同时落到了三处:架构怎么分区、数据怎么分类、训练怎么排课程。这一页按这个顺序讲清楚。
一、金字塔的三层
本站依据论文「多模态交互金字塔」概念自绘,非官方原图。三色沿用官方既有色(蓝=视觉、紫=语言、粉=协同),图形为本站自建的三角形母题。论文里的例子:文字说「大狗戴红项圈、小狗戴蓝项圈」,图像给出项圈颜色,两者合起来才能认出哪只是小狗。
- 模态特有信息建模:只存在于某一个模态里的信息(图像里的颜色、纹理,文本里的关系描述),必须先被保住,不能被对齐过程抹平。
- 跨模态冗余对齐:两种模态都提到的共有内容(同一只狗、同一片草地),用来建立跨模态对应关系。
- 多模态协同:把互补线索合起来,得到单独看哪一边都得不到的结论。论文的例子是「大狗红项圈、小狗蓝项圈」,图像给出颜色、文本给出大小与颜色的对应,合起来才认得出较小的那只。
二、架构:两个 Zone + 交互 token
图像经 IBQ 编成离散 token(视觉码本 16,384 项并入语言词表),与文本 token 排进同一序列,用交错 MRoPE 保留图像的二维位置。模型基座是 LLaDA-8B-Instruct,训练目标统一为离散扩散下的掩码预测。在此之上,Transformer 被切成前后两个区段:
论文的核心设计不是「从第一层就共享全部计算」,而是先用受限交换保住模态特有信息,再放开做全模态整合。论文讨论节的判断是:统一未必要求从最底层就共享计算,先专业化、再受控交换、最后整合,可能更好地平衡两者。
| Interplay Zone I | 瓶颈交互。视觉与文本走各自独立的 FFN,跨模态直连注意力受限,交换只能经由交互 token 中介。论文指定前 4 层为 Zone I,其中新增的视觉 FFN 由 LLaDA 对应层的文本 FFN 初始化。 |
|---|---|
| Interplay Zone II | 全模态交互。限制解除,图像、文本、交互 token 通过全模态自注意力与共享 FFN 一起整合。 |
| 交互 token | 32 个可学习 token,贯穿两个 Zone,负责中介跨模态的信息交换与整合。 |
| 底座 | 统一离散扩散:不采用自回归的固定生成方向,视觉与文本 token 可以互相作为条件。 |
以上数字与设定取自论文全文 3.1 节「Training and Model Configuration」与 2.1 节,最后核对 2026-11-20。
三、训练:三阶段 + 三阶段课程
| 阶段 | 数据量 | 目标 | 数据来源 |
|---|---|---|---|
| 多模态预训练 | 70M 图文对 | 联合掩码预测(joint masked prediction) | LLaVA-OneVision-1.5 |
| 条件持续预训练 | 8M 图文对 | 条件掩码预测:留一个模态可见,预测另一个 | 论文未在本节单列 |
| 指令微调 | 13.7M 指令样本 另含约 2.5M 文生图样本 | 四类交互数据 + 三阶段课程 | LLaVA-OneVision-1.5、MAmmoTH-VL、FineVision、InternVL;文生图部分来自 text-to-image-2M、ShareGPT-4o-Image、BLIP3o-60k |
论文把前两阶段合称为 78M 对齐图文对;所有阶段全参数可训练。官方项目主页把最后一阶段写成 13.7M (+≈2.5M T2I),与论文正文一致。
指令微调的数据被分成四类:冗余、文本特有、视觉特有、协同。三个阶段里四类数据始终都在,只调整采样比例:先巩固跨模态对齐与语言能力,再强化视觉特有能力,最后把重心推向更深的多模态整合。论文讨论节据此给出的判断是 —— 统一不一定非要从最底层就共享全部计算,先专业化、受控交换、再整合,可能更好地平衡专长与协同。
四、评测之外,论文还看了什么
- 表征空间:视觉与文本 token 的分布比参评的扩散式、自回归基线更交织,同时大体保住了预训练的语言几何结构。
- 交互 token 的表征:这些 token 分化出视觉特有、文本特有、协同三种结构,协同分布部分 bridging 另外两者,说明它们会按信息需求调整交换方式。
- 附录:交互导向课程的效果、遥感任务上的迁移、细粒度生成的定性分析。
来源:论文全文 v2(2.1 / 2.2 / 2.3 / 3.1 / 5 节)、官方项目主页、仓库 README。图示为本站自绘,非官方原图。最后核对 2026-11-20。