Gestalt 非官方模型资料站标识 Gestalt非官方模型资料站 · GESTALTX.ORG

非官方 · 与论文作者、GeWu-Lab 及各所属机构无关联 · 数据以官方页面为准,最后核对 2026-11-20

中文图解

把论文里的关系画成中文

这一页的 8 张图全部由本站依据论文文字与表格数字自绘(其中 2 张与首页共用),不是论文原图,也不搬运官方示意图。浅底深字,数字照录,图下写明依据与读法;论文原图请从「一手来源」进入官方项目页与 PDF 查看。

为什么要自绘:论文示意图是作者的作品,本站只转述不搬运。自绘的另一个好处是数字与全站同源 —— 图里的 73.30、0.99677、+113.8 都取自 data/ 快照,改数据时图会跟着变。

一 · 概念:多模态交互金字塔

多模态协同 跨模态冗余对齐 模态特有信息建模 由下而上:保住各自的信息 → 对齐共有的信息 → 生成谁都单独给不了的信息

本站依据论文「多模态交互金字塔」概念自绘,非官方原图。三色沿用官方既有色(蓝=视觉、紫=语言、粉=协同),图形为本站自建的三角形母题。论文里的例子:文字说「大狗戴红项圈、小狗戴蓝项圈」,图像给出项圈颜色,两者合起来才能认出哪只是小狗。

二 · 架构:两个 Zone 与交互 token

统一离散扩散 · 图像与文本共用离散 token 空间 Zone I · 瓶颈交互 视觉、文本各自独立的 FFN 跨模态直连注意力受限 论文指定:前 4 层 Transformer 先保住每个模态自己的信息 Zone II · 全模态交互 全模态自注意力 + 共享 FFN 图像、文本、交互 token 全部互通 Zone I 之后的其余层 再整合出互补的新信息 圆点示意可学习交互 token(实际 32 个),贯穿两个 Zone 中介跨模态交换 本站自绘示意,非官方原图

论文的核心设计不是「从第一层就共享全部计算」,而是先用受限交换保住模态特有信息,再放开做全模态整合。论文讨论节的判断是:统一未必要求从最底层就共享计算,先专业化、再受控交换、最后整合,可能更好地平衡两者。

三 · 四类交互信息关系

协同 S · 合起来才涌现的信息 文本特有 Ut 视觉特有 Uv 冗余 R 两边都说 S 不是两个圆的交叠区:它指任何一方单独都给不出、必须组合后才出现的判断

依据论文 2.1 节与附录 6.2 的四类交互定义自绘,非论文原图。论文举的例子:文字给出「哪只戴红项圈」,图像给出项圈颜色,合起来才能认出是哪只狗 —— 这个判断本身不在任一模态里。

四 · 13.7M 指令数据的构成

13.7M 指令微调样本 · 按主导交互类型划分 2.8M 4.2M 4.0M 2.7M 冗余 R 图像与文字说的是同一件事 文本特有 Ut 只有文字给出的信息 视觉特有 Uv 只有图像给出的信息 协同 S 两者合起来才涌现的信息 另有约 2.46M 文生图样本不计入此表(官方主页与 3.1 节约写作 2.5M);数字照录论文 2.2 节与附录 6.2。

四类汇总口径在论文 2.2 节与附录 6.2 的列举顺序不同,本站按「冗余 / 文本特有 / 视觉特有 / 协同」统一排列,数字不变。本站自绘,非论文原图。

五 · 三阶段训练课程

Stage I 联合掩码预测 70M 图文对 视觉与文本 token 随 机掩码、互相重建;建立共享 离散空间 Stage II 条件持续预训练 8M 条件样本 强化以一类模态为条件生成另 一类模态 Stage III 交互导向指令微调 13.7M(另含约 2.5M 文生图) 按四类交互组织样本,三阶段 课程改变能力出现顺序 三阶段全部参数可训练;Stage III 用交互导向课程替换均匀混合 论文 Table 8 的判断:课程改变的是能力出现的顺序,不是让所有指标单调变好

依据论文 3.1 节与 Table 8 自绘,非论文原图。三阶段数据规模取自官方项目主页与论文;仓库配置里的 Stage-III 参数是默认值,不等于论文最终超参。

六 · 主评测结果(Table 1)

DALL-E-3 70.82 SD-3.5-Large 64.35 OmniGen2 71.39 Emu3 50.95 Show-o2 70.33 Janus-Pro 71.11 MMaDA 40.10 BAGEL 71.26 Lumina-DiMOO 71.81 Gestalt 73.30↑1.49 UniGenBench English Long · Overall 总分(0–100);数字照录论文 Table 1,本站未复现

按论文 Table 1 第一列数字重绘。带 ↑ 的数值为原表标注的相对提升,本站照录不换算。同页其余分项与五张主评测表见「评测数据」页。本站自绘,非论文原图。

七 · 语言表征保留(Table 4)

LLaDA-V 0.99998 LaViDa 0.99976 LLaDA-O 0.98136 Lumina-DiMOO 0.58795 Gestalt 0.99677 语言嵌入空间 Cosine 相似度(越接近 1 表示偏离基座越小);数字照录论文 Table 4

Table 4 同时报告 CKA:Gestalt 0.99494,投影对齐组 0.99997 / 0.99964 / 0.97424,Lumina-DiMOO 0.43894。本站按 Cosine 一列重绘,非论文原图;结论以表格原文为准。

八 · 课程消融的能力轨迹(Table 8)

Table 8 · 相对均匀混合的增益 Δ(10% SFT 数据) 阶段 I 阶段 II 阶段 III MMStar-P -4.44 +0.30 +2.20 MME-P +113.8 +42.7 -37.9 MMVP +1.33 -6.67 +2.00 CVBench-2D -0.56 -0.90 +0.63 蓝底为正增益、米底为负增益;不同基准量纲不同,只比较同一行内的符号变化,不跨行比大小。

按论文 Table 8 的 Δ 列重绘,非论文原图。MME-P 从 +113.8 走到 −37.9,MMStar-P 从 −4.44 转到 +2.20 —— 论文用 progressively reshapes 描述这个过程,本站不写成「课程全面更优」。

图与出处的对照

图依据数字来源官方原文
金字塔 / 两个 Zone论文 1–2 节文字无数字,纯关系示意一手来源
四类交互关系论文 2.1 节与附录 6.22.8M / 4.2M / 4.0M / 2.7M数据与训练
13.7M 构成论文 Table 7 与 2.2 节details.json · interplay_mix数据与训练
三阶段课程论文 3.1 节与 Table 870M / 8M / 13.7M数据与训练
UniGenBench 条形论文 Table 1 第一列benchmarks.json评测数据
表征保留条形论文 Table 4 Cosine 列details.json · tables分析实验
课程消融 Δ论文 Table 8 的 Δ 列details.json · tables分析实验

全部图形为本站自绘 SVG,直接写在 HTML 源码里,无脚本、无外部图片;最后核对 2026-11-20。相关:一手来源 · 编辑原则。