全站搜索结果
分析实验
除了跑分,论文还验证了什么
论文的评测顺序是刻意排的:先看统一能力,再往下看表征几何与语言结构是否被保住,最后看跨模态交互怎么发生。这一页收齐主评测表之外的四张补充表、三项分析与定性结论。
一、表征空间:建了新空间,但保住了语言几何
3.3 节在第 24 层、用 DOCCI 图文对可视化隐藏表征:Lumina-DiMOO 的视觉与文本明显分离;Qwen3.8 有部分重叠,但仍有大量文本 token 与视觉表征分开;Gestalt 的分布更交织。论文脚注特别说明,因 Qwen3.8 没有官方 9B checkpoint,对照用的是蒸馏版 Qwen3.8-9B-Distill。
补充表 A · 语言表征空间的偏移与保留(论文 Table 4)
以预训练 LLaDA 为参照,衡量两种多模态适配范式对语言嵌入空间的改动。Norm / Distance 看分布偏移,Cosine Sim. / CKA 看结构保留。数值照录论文 Table 4。
| 模型 | 适配范式 | Norm Mean | Norm Std | Mean Distance | Cosine Sim. | CKA |
|---|---|---|---|---|---|---|
| 基座(Base) | ||||||
| LLaDA | 参照 | 7.82 | 1.11 | – | – | – |
| 投影对齐(Projector Alignment) | ||||||
| LLaDA-V | 投影对齐 | 7.82 | 1.11 | 0.043 | 0.99998 | 0.99997 |
| LaViDa | 投影对齐 | 7.83 | 1.11 | 0.160 | 0.99976 | 0.99964 |
| LLaDA-O | 投影对齐 | 8.02 | 1.16 | 1.520 | 0.98136 | 0.97424 |
| 统一 token 空间(Unified Token Space) | ||||||
| Lumina-DiMOO | 统一离散空间 | 0.85 | 0.49 | 7.426 | 0.58795 | 0.43894 |
| Gestalt | 统一离散空间 | 5.29 | 0.76 | 2.590 | 0.99677 | 0.99494 |
怎么读:统一 token 空间的模型改动更大,但 Gestalt 的 Cosine 0.99677 与 CKA 0.99494 远高于 Lumina-DiMOO 的 0.58795 / 0.43894 —— 论文据此判断它在建立共享空间的同时大体保住了原有语言几何。Norm Mean 从 7.82 降到 5.29,说明嵌入尺度仍有明显变化,这一点论文没有回避。
二、交互 token 会不会按信息需求变形
3.4 节在第 16 层可视化 MIBench 上交互 token 的隐藏表征。MIBench 按预测所需信息把样本分成视觉特有、文本特有、跨模态协同三类。结果是:视觉主导与文本主导样本占据大体分离的区域,协同样本形成第三种分布并部分 bridging 前两者。论文据此判断这些 token 会按需调整交换方式 —— 这是解释性观察,不是因果证明。
与之呼应的结果在 评测数据 的 Table 6:协同三项(CoreCog-SM 55.20、MM-IMDb 67.07、SRBench 53.17)都是扩散式模型中最好,而视觉特有的 MIB-V 59.89 略低于 LLaDA-o 的 60.31。
三、三阶段课程的对照实验
附录 7.1 从同一 CPT checkpoint 出发、只用 10% SFT 数据,比较「全程均匀混合」与「按交互类型排课程」。这张表值得慢慢读,因为它常被简化成一句错误的「课程更好」。
补充表 C · 三阶段课程的对照实验(论文 Table 8)
从同一 CPT checkpoint 出发、只用 10% SFT 数据,比较「全程均匀混合」与「按交互类型排课程」。U=Uniform,C=Curriculum,Diff.=C 减 U。数字照录 Table 8。
| 指标 | 阶段 1 | 阶段 2 | 阶段 3 | ||||||
|---|---|---|---|---|---|---|---|---|---|
| U | C | Diff. | U | C | Diff. | U | C | Diff. | |
| MMStar-P | 49.52 | 45.08 | -4.44 | 49.42 | 49.72 | +0.30 | 51.67 | 53.87 | +2.20 |
| MME-P | 917.1 | 1030.9 | +113.8 | 1135.8 | 1178.5 | +42.7 | 1249.5 | 1211.6 | -37.9 |
| MMVP | 26.67 | 28.00 | +1.33 | 32.67 | 26.00 | -6.67 | 29.33 | 31.33 | +2.00 |
| CVBench-2D | 68.64 | 68.08 | -0.56 | 73.02 | 72.11 | -0.90 | 73.99 | 74.62 | +0.63 |
怎么读:这张表最容易被误读成「课程更好」。实际结论是能力的出现顺序被改变了:早期偏冗余与文本,宽泛感知(MME-P +113.8)上来得快,细粒度感知反而落后;到阶段 3,MMStar-P(+2.20)与 CVBench-2D(+0.63)反超,MME-P 则转为 -37.9。论文自己写的是 progressively reshapes,不是 uniformly improves。
四、遥感领域迁移
附录 7.2 只往训练混合里加 5 万条 FIT 遥感 VQA 样本,考察模型吸收新视觉域知识的效率。
补充表 D · 遥感领域迁移(论文 Table 9)
只向训练混合里加入 5 万条 FIT 遥感 VQA 样本,考察模型吸收新视觉域知识的效率。FGRS 考细粒度识别,FGRC 考物体与区域间的关系推理。
| 模型 | 遥感微调样本 | FGRS | FGRC |
|---|---|---|---|
| BAGEL | – | 42.51 | 36.65 |
| GeoChat | – | 53.47 | 21.90 |
| SkySenseGPT | 1.415M | 79.76 | 55.50 |
| Lumina-DiMOO * | 50K | 77.77 | – |
| Gestalt | 50K | 79.34 | 38.20 |
怎么读:用 5 万条样本得到 FGRS 79.34,逼近用 141.5 万条训练的专业模型 SkySenseGPT 的 79.76;同数据量下也高于 Lumina-DiMOO* 的 77.77。但关系推理 FGRC 只有 38.20,与 55.50 仍有明显差距 —— 论文如实写了 although a gap remains。* 表示 FGRC 评测未完成。
五、细粒度生成的定性观察
附录 7.3 与 Figure 7 讨论 UniGenBench 上的生成结果,重点是多物体组合、属性绑定、空间关系与整体风格一致性。论文举的具体例子包括:雪地上的北极熊与企鹅、金字塔前的骆驼队、塞纳河边的情侣与游轮、装在不同容器里的几组花束、内部装不同内容物的相似瓶子、金属空碗旁的小狗。
风格覆盖水彩、梵高式油画、印象派、超现实数字艺术、产品摄影、电影感风景与日式动漫。作者的判断是:风格约束影响的是整幅画面的光照、色调、笔触、透视与氛围,而不是浮在局部的一层贴图。这些是论文文字描述,本站不搬运官方示例图。
六、讨论:作者认为这意味着什么
统一未必要求从最底层就共享全部计算。先做模态特有处理、受控交换、再完全整合,可能更好地平衡专长与协同。
论文把这一点和混合模态 scaling law 研究联系起来:既然已有研究把「多模态协同」当作关键组分,规模效应或许不只取决于模型与数据量,也取决于跨阶段的信息交换如何组织。原文用的是 suggest / may,属于后续研究的提议,不是已验证的结论。
七、官方没给的,本站不补
- Gestalt 自身的参数量(只给了基座 LLaDA-8B-Instruct)。
- Zone II 的具体层数(Figure 2 只写 N₁ / N₂,正文明确的是前 4 层为 Zone I)。
- 训练算力、GPU 型号与总耗时;单次推理成本与耗时。
- 32 这个交互 token 数量的选取依据或消融。
- SFT 数据的公开下载地址(README 写 coming soon)。
来源:论文全文 v2(3.3 / 3.4 / 5 / 附录 7)、官方项目主页。补充表 A–D 的数字分别照录论文 Table 4 / 7 / 8 / 9,本站未复现;最后核对 2026-11-20。