Gestalt 非官方模型资料站标识 Gestalt非官方模型资料站 · GESTALTX.ORG

非官方 · 与论文作者、GeWu-Lab 及各所属机构无关联 · 数据以官方页面为准,最后核对 2026-11-20

方法与架构

先保住,再对齐,最后整合

论文把「多模态交互金字塔」同时落到了三处:架构怎么分区、数据怎么分类、训练怎么排课程。这一页按这个顺序讲清楚。

一、金字塔的三层

多模态协同 跨模态冗余对齐 模态特有信息建模 由下而上:保住各自的信息 → 对齐共有的信息 → 生成谁都单独给不了的信息

本站依据论文「多模态交互金字塔」概念自绘,非官方原图。三色沿用官方既有色(蓝=视觉、紫=语言、粉=协同),图形为本站自建的三角形母题。论文里的例子:文字说「大狗戴红项圈、小狗戴蓝项圈」,图像给出项圈颜色,两者合起来才能认出哪只是小狗。

  1. 模态特有信息建模:只存在于某一个模态里的信息(图像里的颜色、纹理,文本里的关系描述),必须先被保住,不能被对齐过程抹平。
  2. 跨模态冗余对齐:两种模态都提到的共有内容(同一只狗、同一片草地),用来建立跨模态对应关系。
  3. 多模态协同:把互补线索合起来,得到单独看哪一边都得不到的结论。论文的例子是「大狗红项圈、小狗蓝项圈」,图像给出颜色、文本给出大小与颜色的对应,合起来才认得出较小的那只。

二、架构:两个 Zone + 交互 token

图像经 IBQ 编成离散 token(视觉码本 16,384 项并入语言词表),与文本 token 排进同一序列,用交错 MRoPE 保留图像的二维位置。模型基座是 LLaDA-8B-Instruct,训练目标统一为离散扩散下的掩码预测。在此之上,Transformer 被切成前后两个区段:

统一离散扩散 · 图像与文本共用离散 token 空间 Zone I · 瓶颈交互 视觉、文本各自独立的 FFN 跨模态直连注意力受限 论文指定:前 4 层 Transformer 先保住每个模态自己的信息 Zone II · 全模态交互 全模态自注意力 + 共享 FFN 图像、文本、交互 token 全部互通 Zone I 之后的其余层 再整合出互补的新信息 圆点示意可学习交互 token(实际 32 个),贯穿两个 Zone 中介跨模态交换 本站自绘示意,非官方原图

论文的核心设计不是「从第一层就共享全部计算」,而是先用受限交换保住模态特有信息,再放开做全模态整合。论文讨论节的判断是:统一未必要求从最底层就共享计算,先专业化、再受控交换、最后整合,可能更好地平衡两者。

Interplay Zone I瓶颈交互。视觉与文本走各自独立的 FFN,跨模态直连注意力受限,交换只能经由交互 token 中介。论文指定前 4 层为 Zone I,其中新增的视觉 FFN 由 LLaDA 对应层的文本 FFN 初始化。
Interplay Zone II全模态交互。限制解除,图像、文本、交互 token 通过全模态自注意力与共享 FFN 一起整合。
交互 token32 个可学习 token,贯穿两个 Zone,负责中介跨模态的信息交换与整合。
底座统一离散扩散:不采用自回归的固定生成方向,视觉与文本 token 可以互相作为条件。

以上数字与设定取自论文全文 3.1 节「Training and Model Configuration」与 2.1 节,最后核对 2026-11-20。

三、训练:三阶段 + 三阶段课程

阶段数据量目标数据来源
多模态预训练70M 图文对联合掩码预测(joint masked prediction)LLaVA-OneVision-1.5
条件持续预训练8M 图文对条件掩码预测:留一个模态可见,预测另一个论文未在本节单列
指令微调13.7M 指令样本
另含约 2.5M 文生图样本
四类交互数据 + 三阶段课程LLaVA-OneVision-1.5、MAmmoTH-VL、FineVision、InternVL;文生图部分来自 text-to-image-2M、ShareGPT-4o-Image、BLIP3o-60k

论文把前两阶段合称为 78M 对齐图文对;所有阶段全参数可训练。官方项目主页把最后一阶段写成 13.7M (+≈2.5M T2I),与论文正文一致。

指令微调的数据被分成四类:冗余、文本特有、视觉特有、协同。三个阶段里四类数据始终都在,只调整采样比例:先巩固跨模态对齐与语言能力,再强化视觉特有能力,最后把重心推向更深的多模态整合。论文讨论节据此给出的判断是 —— 统一不一定非要从最底层就共享全部计算,先专业化、受控交换、再整合,可能更好地平衡专长与协同。

四、评测之外,论文还看了什么

  • 表征空间:视觉与文本 token 的分布比参评的扩散式、自回归基线更交织,同时大体保住了预训练的语言几何结构。
  • 交互 token 的表征:这些 token 分化出视觉特有、文本特有、协同三种结构,协同分布部分 bridging 另外两者,说明它们会按信息需求调整交换方式。
  • 附录:交互导向课程的效果、遥感任务上的迁移、细粒度生成的定性分析。
本站不推测的部分:论文与官方主页没有给出参数量、Zone II 的具体层数、训练算力与耗时,本站就不填这些格子。看到别处写了具体数字,请先回到论文原文核对。

来源:论文全文 v2(2.1 / 2.2 / 2.3 / 3.1 / 5 节)、官方项目主页、仓库 README。图示为本站自绘,非官方原图。最后核对 2026-11-20。