Gestalt 非官方模型资料站标识 Gestalt非官方模型资料站 · GESTALTX.ORG

非官方 · 与论文作者、GeWu-Lab 及各所属机构无关联 · 数据以官方页面为准,最后核对 2026-11-20

分析实验

除了跑分,论文还验证了什么

论文的评测顺序是刻意排的:先看统一能力,再往下看表征几何与语言结构是否被保住,最后看跨模态交互怎么发生。这一页收齐主评测表之外的四张补充表、三项分析与定性结论。

一、表征空间:建了新空间,但保住了语言几何

3.3 节在第 24 层、用 DOCCI 图文对可视化隐藏表征:Lumina-DiMOO 的视觉与文本明显分离;Qwen3.8 有部分重叠,但仍有大量文本 token 与视觉表征分开;Gestalt 的分布更交织。论文脚注特别说明,因 Qwen3.8 没有官方 9B checkpoint,对照用的是蒸馏版 Qwen3.8-9B-Distill。

补充表 A · 语言表征空间的偏移与保留(论文 Table 4)

以预训练 LLaDA 为参照,衡量两种多模态适配范式对语言嵌入空间的改动。Norm / Distance 看分布偏移,Cosine Sim. / CKA 看结构保留。数值照录论文 Table 4。

模型适配范式Norm MeanNorm StdMean DistanceCosine Sim.CKA
基座(Base)
LLaDA参照7.821.11–––
投影对齐(Projector Alignment)
LLaDA-V投影对齐7.821.110.0430.999980.99997
LaViDa投影对齐7.831.110.1600.999760.99964
LLaDA-O投影对齐8.021.161.5200.981360.97424
统一 token 空间(Unified Token Space)
Lumina-DiMOO统一离散空间0.850.497.4260.587950.43894
Gestalt统一离散空间5.290.762.5900.996770.99494

怎么读:统一 token 空间的模型改动更大,但 Gestalt 的 Cosine 0.99677 与 CKA 0.99494 远高于 Lumina-DiMOO 的 0.58795 / 0.43894 —— 论文据此判断它在建立共享空间的同时大体保住了原有语言几何。Norm Mean 从 7.82 降到 5.29,说明嵌入尺度仍有明显变化,这一点论文没有回避。

二、交互 token 会不会按信息需求变形

3.4 节在第 16 层可视化 MIBench 上交互 token 的隐藏表征。MIBench 按预测所需信息把样本分成视觉特有、文本特有、跨模态协同三类。结果是:视觉主导与文本主导样本占据大体分离的区域,协同样本形成第三种分布并部分 bridging 前两者。论文据此判断这些 token 会按需调整交换方式 —— 这是解释性观察,不是因果证明。

与之呼应的结果在 评测数据 的 Table 6:协同三项(CoreCog-SM 55.20、MM-IMDb 67.07、SRBench 53.17)都是扩散式模型中最好,而视觉特有的 MIB-V 59.89 略低于 LLaDA-o 的 60.31。

三、三阶段课程的对照实验

附录 7.1 从同一 CPT checkpoint 出发、只用 10% SFT 数据,比较「全程均匀混合」与「按交互类型排课程」。这张表值得慢慢读,因为它常被简化成一句错误的「课程更好」。

补充表 C · 三阶段课程的对照实验(论文 Table 8)

从同一 CPT checkpoint 出发、只用 10% SFT 数据,比较「全程均匀混合」与「按交互类型排课程」。U=Uniform,C=Curriculum,Diff.=C 减 U。数字照录 Table 8。

指标阶段 1阶段 2阶段 3
UCDiff.UCDiff.UCDiff.
MMStar-P49.5245.08-4.4449.4249.72+0.3051.6753.87+2.20
MME-P917.11030.9+113.81135.81178.5+42.71249.51211.6-37.9
MMVP26.6728.00+1.3332.6726.00-6.6729.3331.33+2.00
CVBench-2D68.6468.08-0.5673.0272.11-0.9073.9974.62+0.63

怎么读:这张表最容易被误读成「课程更好」。实际结论是能力的出现顺序被改变了:早期偏冗余与文本,宽泛感知(MME-P +113.8)上来得快,细粒度感知反而落后;到阶段 3,MMStar-P(+2.20)与 CVBench-2D(+0.63)反超,MME-P 则转为 -37.9。论文自己写的是 progressively reshapes,不是 uniformly improves。

四、遥感领域迁移

附录 7.2 只往训练混合里加 5 万条 FIT 遥感 VQA 样本,考察模型吸收新视觉域知识的效率。

补充表 D · 遥感领域迁移(论文 Table 9)

只向训练混合里加入 5 万条 FIT 遥感 VQA 样本,考察模型吸收新视觉域知识的效率。FGRS 考细粒度识别,FGRC 考物体与区域间的关系推理。

模型遥感微调样本FGRSFGRC
BAGEL–42.5136.65
GeoChat–53.4721.90
SkySenseGPT1.415M79.7655.50
Lumina-DiMOO *50K77.77–
Gestalt50K79.3438.20

怎么读:用 5 万条样本得到 FGRS 79.34,逼近用 141.5 万条训练的专业模型 SkySenseGPT 的 79.76;同数据量下也高于 Lumina-DiMOO* 的 77.77。但关系推理 FGRC 只有 38.20,与 55.50 仍有明显差距 —— 论文如实写了 although a gap remains。* 表示 FGRC 评测未完成。

五、细粒度生成的定性观察

附录 7.3 与 Figure 7 讨论 UniGenBench 上的生成结果,重点是多物体组合、属性绑定、空间关系与整体风格一致性。论文举的具体例子包括:雪地上的北极熊与企鹅、金字塔前的骆驼队、塞纳河边的情侣与游轮、装在不同容器里的几组花束、内部装不同内容物的相似瓶子、金属空碗旁的小狗。

风格覆盖水彩、梵高式油画、印象派、超现实数字艺术、产品摄影、电影感风景与日式动漫。作者的判断是:风格约束影响的是整幅画面的光照、色调、笔触、透视与氛围,而不是浮在局部的一层贴图。这些是论文文字描述,本站不搬运官方示例图。

六、讨论:作者认为这意味着什么

统一未必要求从最底层就共享全部计算。先做模态特有处理、受控交换、再完全整合,可能更好地平衡专长与协同。

论文把这一点和混合模态 scaling law 研究联系起来:既然已有研究把「多模态协同」当作关键组分,规模效应或许不只取决于模型与数据量,也取决于跨阶段的信息交换如何组织。原文用的是 suggest / may,属于后续研究的提议,不是已验证的结论。

七、官方没给的,本站不补

  • Gestalt 自身的参数量(只给了基座 LLaDA-8B-Instruct)。
  • Zone II 的具体层数(Figure 2 只写 N₁ / N₂,正文明确的是前 4 层为 Zone I)。
  • 训练算力、GPU 型号与总耗时;单次推理成本与耗时。
  • 32 这个交互 token 数量的选取依据或消融。
  • SFT 数据的公开下载地址(README 写 coming soon)。
致谢与资助:论文致谢部分写明,本工作部分受北京市自然科学基金 4262050 与北京新星计划 202604841277 支持。

来源:论文全文 v2(3.3 / 3.4 / 5 / 附录 7)、官方项目主页。补充表 A–D 的数字分别照录论文 Table 4 / 7 / 8 / 9,本站未复现;最后核对 2026-11-20。