Gestalt 非官方模型资料站标识 Gestalt非官方模型资料站 · GESTALTX.ORG

非官方 · 与论文作者、GeWu-Lab 及各所属机构无关联 · 数据以官方页面为准,最后核对 2026-11-20

论文精读

arXiv:2610.00576 逐章拆解

论文 v2 共 17 页、7 图、9 张表、48 条参考文献,arXiv 页标注 CC BY 4.0。下面按章节顺序把每一节讲了什么、给了哪些数字写清楚;本站是要点转述,不整段搬运原文。

标题Gestalt: Large Multimodal Interplay Model
arXivhttps://arxiv.org/abs/2610.00576
全文https://arxiv.org/html/2610.00576v2
DOIhttps://doi.org/10.48550/arXiv.2610.00576
版本v1 2026-09-30 · v2 2026-10-08
许可arXiv 页面标注 CC BY 4.0
章节1 引言 / 2 方法(2.1–2.3)/ 3 实验(3.1–3.4)/ 4 相关工作 / 5 讨论 / 附录 6 数据 / 附录 7 补充结果 / 参考文献

摘要在说什么

论文开宗明义:现有大模型主要忙着「容纳更多模态」,却忽略了每个模态各自的特性和模态之间的关系。受人类多感官知觉的分阶段特性启发,作者提出多模态交互金字塔,并据此组织架构、数据与训练。结果是统一离散扩散框架 + 交互分区架构 + 可学习交互 token;在图像生成、多模态理解、纯文本三类评测上,既提升了跨模态整合,也保住了模态特有信息。

逐节要点

1 Introduction · 引言

  • 梳理两条既有路线:架构兼容(LLaVA、Qwen2.5-VL:视觉编码器接到预训练语言模型)与数据兼容(Kimi K3、Qwen 3.8:混合模态语料联合预训练)。
  • 核心判断:把模态凑齐不等于处理好了模态之间的关系,more is different。
  • 借人类多感官知觉的多阶段特性,提出多模态交互金字塔:底层保住模态特有信息 → 中层对齐跨模态冗余 → 顶层整合出协同信息。
  • Figure 1b 的例子:文本给出「大狗红项圈、小狗蓝项圈」的大小—颜色关系,图像给出可见的项圈颜色,共同的金毛与草地建立对应,两者合起来才能认出较小的那只。
  • 引言里提前给出主要结果:UniGenBench 73.30、TIIF-Bench 短/长 74.57 / 78.86、CV-Bench 两条 78.9 / 86.1(均超过 BAGEL 的 77.7 / 84.2)。

2.1 Unified Interplay-Centric Architecture · 架构

  • 离散多模态表示:固定 VQ-VAE 编码器把图像变成 16,384 项码本的离散 token,与文本 token 排进同一序列;底层掩码扩散语言模型用双向注意力,无需自回归的固定生成方向。
  • 交互 token:专门的可学习 token 作为视觉流与文本流的共享接口,职能从 Zone I 的中介交换扩展到 Zone II 的完全整合。
  • Zone I 瓶颈交互:视觉与文本走各自 FFN,受限注意力禁止两者直连,跨模态信息只能经由交互 token 交换,避免共享计算冲淡模态特有表征。
  • Zone II 全模态交互:解除限制,全模态自注意力 + 共享 FFN,图像/文本/交互 token 互相直接可见,交互 token 继续聚合任务相关信息。
  • 两者合起来构成 preserve-then-integrate 路径。Figure 2 把 Zone I / Zone II 写成 N1 / N2 层,正文没有给 N2 的具体数值。

2.2 Training Data Organization · 数据组织

  • 预训练与持续预训练共用 78M 对齐图文对,学习基础跨模态对应与多模态知识。
  • SFT 按金字塔把每条指令样本归入冗余、文本特有、视觉特有、协同四类。
  • 13.7M 语料构成:2.8M 冗余、4.2M 文本特有、4.0M 视觉特有、2.7M 协同。
  • 详细的数据清洗、子任务划分与图像生成数据说明放在附录 6。

2.3 Progressive Training Strategy · 训练策略

  • 统一掩码扩散目标:对多模态序列随机掩码并重建,L_mask = -E_m Σ_{i∈m} log p_θ(x_i | x_{\m});双向条件化,无固定生成顺序。
  • 联合掩码预测(预训练):视觉与文本 token 独立掩码、联合重建,同时学模态内结构与双向跨模态依赖。
  • 条件掩码预测(CPT 与 SFT):保持一个模态可见,掩码另一个并预测;是联合建模与下游条件生成之间的桥梁。
  • 三阶段课程:四类数据全程保留,只调采样比例;从巩固跨模态对齐与语言能力 → 强化视觉特有能力 → 推向更深的多模态整合。
  • 作者特别说明:基座已预训练,模态特有的底层基础在多模态训练之前就已具备,因此多模态阶段从中层的冗余对齐起步。

3.1 Training and Evaluation Overview · 训练与评测配置

  • 基座 LLaDA-8B-Instruct;IBQ 把图像编码为离散 token,16,384 视觉码本并入语言词表;交错 MRoPE 保留二维空间位置。
  • 32 个交互 token;前 4 层 Transformer 为 Zone I;这 4 层新增的视觉 FFN 由 LLaDA 对应层文本 FFN 初始化。
  • 三阶段数据:70M(LLaVA-OneVision-1.5)→ 8M → 13.7M(LLaVA-OneVision-1.5、MAmmoTH-VL、FineVision、InternVL),末阶段另含 2.5M 文生图样本(text-to-image-2M、ShareGPT-4o-Image、BLIP3o-60k)。
  • 所有阶段全参数可训练。
  • 评测顺序刻意设计成:先统一能力 → 再表征几何与语言保持 → 最后跨模态交互与交互 token 内部信息。

3.2 Unified Multimodal Capabilities · 统一能力

  • 3.2.1 细粒度文生图:UniGenBench 73.30 为参评最高,超过生成专用组最高的 OmniGen2 71.39 与统一组最高的 Lumina-DiMOO 71.81;在 Style、Rel.、Comp.、Grammar、Layout、Logic 六项排第一,但 Text 只有 3.80。
  • 3.2.1 复杂指令遵循:TIIF-Bench 短 / 长 Overall 74.57 / 78.86,三类子项(Basic / Advanced / Designer)两种设置下均第一;长指令引入更多实体与相互依赖约束时优势更大。
  • 3.2.2 多模态理解:八个基准分通用 VQA(MME-P、GQA、MMStar-P、POPE、RealworldQA)与视觉中心(MMVP、CV-Bench 2D/3D)两组;在扩散式模型中五项第一、八项中七项前二。
  • 3.2.2 CV-Bench 2D/3D 的 78.9 / 86.1 也超过自回归统一模型 BAGEL 的 77.7 / 84.2。
  • Table 3 的 † 表示数字来自原论文,其余用官方 checkpoint 与推理脚本实测;论文照录了这一差异。

3.3 Cross-modal Representation Analysis · 表征分析

  • 在第 24 层、用 DOCCI 图文对可视化:Lumina-DiMOO 两模态明显分离,Qwen3.8-9B-Distill 部分重叠但仍有大量文本 token 分离,Gestalt 的分布更交织。
  • Qwen3.8 无官方 9B checkpoint,论文改用蒸馏版 Qwen3.8-9B-Distill 作对照,并在脚注给出地址 —— 这是论文自己写明的替代口径。
  • Table 4:Gestalt 的 Cosine 0.99677 / CKA 0.99494,Lumina-DiMOO 为 0.58795 / 0.43894;投影对齐类模型改动最小。结论是建了新空间但大体保住原结构。
  • 纯文本评测设置:MMLU、WinoGrande、TruthfulQA 用 5-shot,HellaSwag、ARC-Easy、ARC-Challenge 用 0-shot,TruthfulQA 报 MC2。
  • Table 5:六个文本基准中五项领先扩散式统一模型,ARC-E / ARC-C 提升最大;与 AR 模型比,六项全胜 BAGEL,MMLU 接近 Janus-Pro(49.50 对 49.90)。

3.4 Understanding the Role of Cross-Modal Interplay · 交互作用

  • 用 MIBench-Visual(MIB-V)与 CoreCognition Sensorimotor(CoreCog-SM)看视觉特有/基础能力,用 MM-IMDb 与 SRBench 看跨模态协同。
  • Table 6:Gestalt 在 CoreCog-SM 55.20、MM-IMDb 67.07、SRBench 53.17 三项为扩散式模型最好;MIB-V 59.89 略低于 LLaDA-o 的 60.31。
  • 在第 16 层可视化 MIBench 上交互 token 的隐藏表征:视觉主导与文本主导样本占据大体分离的区域,协同样本形成第三种分布并部分 bridging 前两者。
  • 论文据此判断:交互 token 会按预测所需的信息类型调整交换方式。

4 Related Work · 相关工作

  • 从架构兼容(视觉编码器 + projector + AR 语言模型)到原生统一模型(共享模型联合预训练,同时支持理解与生成)。
  • 统一模型三条技术路线:自回归 next-token prediction、离散扩散、混合 AR-diffusion / flow-based。
  • 论文指出的共同缺口:现有工作聚焦于把视觉与文本数据放进同一个模型,没有显式组织跨模态的信息关系与涌现性质。

5 Discussion · 讨论

  • 核心判断:统一未必要求从最底层就共享全部计算;先做模态特有处理、受控交换、再完全整合,可能更好地平衡专长与协同。
  • 与混合模态 scaling law 研究里把「多模态协同」视为关键组分相互呼应,作者推测规模效应不只取决于模型与数据量,也取决于跨阶段的信息交换如何组织。
  • 论文把交互金字塔定位为后续研究多模态 scaling law 的一个结构化设置,是提议,不是已验证结论。
  • 致谢:北京市自然科学基金 4262050、北京新星计划 202604841277。

附录 6 Data Organization Strategy · 数据构造

  • 6.1 数据清洗:预训练从 LLaVA-OneVision-1.5-Midtraining 选高质量图文对,用 Qwen3-VL-32B-Instruct 校验图文一致性、剔除弱对应样本。
  • 6.1 SFT 多轮质控:因 VQ-VAE 压缩会丢失细节、使原本可答的样本在 token 化后不再可答,先规则过滤,再用 Qwen3-VL-32B-Instruct 验证目标回答所需的视觉证据在 token 化后仍然存在。
  • 6.2 交互标注:不逐条标注,而是在子任务层做 —— 每个子数据集随机抽 100 条,结合任务启发式与模型辅助校验,判定主导信息结构,再按聚合结果给整个子任务归类。
  • 6.2 四类统计:2.8M 冗余、4.0M 视觉特有、4.2M 文本特有、2.7M 协同。
  • 6.3 图像生成数据:另收 2.46M 条,不决定课程,而是大致均匀分到三个阶段。

附录 7 Additional Results · 补充实验

  • 7.1 课程对照(Table 8):同一 CPT checkpoint、10% SFT 数据,比较均匀混合与交互课程;结论是能力出现顺序被重塑,不是所有指标一致变好。
  • 7.2 遥感迁移(Table 9):仅加 5 万条 FIT 遥感 VQA,FGRS 79.34 逼近用 141.5 万条的 SkySenseGPT 79.76,FGRC 38.20 仍有明显差距。
  • 7.3 细粒度生成定性(Figure 7):多物体、属性绑定、空间关系、风格一致性;论文举了雪地北极熊与企鹅、金字塔前的骆驼队、塞纳河边的情侣与游轮、不同容器里的花束、装不同内容物的相似瓶子、金属空碗旁的小狗等例子。
  • 7.3 风格覆盖:水彩、梵高式油画、印象派、超现实数字艺术、产品摄影、电影感风景、日式动漫;论文强调风格约束影响的是整体光照、色调、笔触、透视与氛围,而非局部贴图。

九张表在哪一页

论文表内容本站位置
Table 1UniGenBench 细粒度文生图评测数据 · 表一
Table 2TIIF-Bench 长短指令评测数据 · 表二
Table 3多模态理解八项基准评测数据 · 表三
Table 4语言表征空间偏移与保留分析实验 · 补充表 A
Table 5六个纯文本基准评测数据 · 表四
Table 6视觉特有与协同能力评测数据 · 表五
Table 713.7M 指令数据构成数据与训练 · 补充表 B
Table 8三阶段课程对照分析实验 · 补充表 C
Table 9遥感领域迁移分析实验 · 补充表 D

参考文献(48 条,照录题录)

题录从论文 HTML 全文的 References 段提取,保留作者、年份、标题与出处,去掉了 LaTeX 转换残留的 Cited by 标记。完整原文请到 论文全文 查看。

  1. H. Liu, C. Li, Q. Wu, and Y. J. Lee (2023) Visual instruction tuning. Advances in neural information processing systems 36, pp. 34892–34916.
  2. S. Bai, K. Chen, X. Liu, J. Wang, W. Ge, S. Song, K. Dang, P. Wang, S. Wang, J. Tang, H. Zhong, Y. Zhu, M. Yang, Z. Li, J. Wan, P. Wang, W. Ding, Z. Fu, Y. Xu, J. Ye, X. Zhang, T. Xie, Z. Cheng, H. Zhang, Z. Yang, H. Xu, and J. Lin (2025) Qwen2.5-vl technical report. arXiv:2502.13923.
  3. Kimi Team et al. (2026) Kimi K3: open frontier intelligence. arXiv:2607.24653.
  4. B. E. Stein and M. A. Meredith (1993) The merging of the senses. MIT press.
  5. M. S. Gazzaniga, R. B. Ivry, and G. R. Mangun (2011) Cognitive neuroscience: the biology of the mind. W. W. Norton.
  6. X. Tang, J. Wu, and Y. Shen (2016) The interactions of multisensory integration with endogenous and exogenous attention. Neuroscience & Biobehavioral Reviews 61, pp. 208–224.
  7. W. Köhler (1967) Gestalt psychology. Psychologische forschung 31 ( 1 ), pp. XVIII–XXX.
  8. F. Shi, Z. Luo, Y. Ge, Y. Yang, Y. Shan, and L. Wang (2025) Scalable image tokenization with index backpropagation quantization. In 2025 IEEE/CVF International Conference on Computer Vision (ICCV), pp. 16037–16046.
  9. S. Nie, F. Zhu, Z. You, X. Zhang, J. Ou, J. Hu, J. Zhou, Y. Lin, J. Wen, and C. Li (2026) Large language diffusion models. Advances in Neural Information Processing Systems 38, pp. 50608–50646.
  10. X. An, Y. Xie, K. Yang, W. Zhang, X. Zhao, Z. Cheng, Y. Wang, S. Xu, C. Chen, D. Zhu, et al. (2025) Llava-onevision-1.5: fully open framework for democratized multimodal training. arXiv preprint arXiv:2509.23661.
  11. J. Guo, T. Zheng, Y. Li, Y. Bai, B. Li, Y. Wang, K. Zhu, G. Neubig, W. Chen, and X. Yue (2025) Mammoth-vl: eliciting multimodal reasoning with instruction tuning at scale. In Proceedings of the 63rd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 13869–13920.
  12. L. Wiedmann, O. Zohar, A. Mahla, X. Wang, R. Li, T. Frere, L. von Werra, A. R. Gosthipaty, and A. Marafioti (2025) Finevision: open data is all you need. arXiv preprint arXiv:2510.17269.
  13. W. Wang, Z. Gao, L. Gu, H. Pu, L. Cui, X. Wei, Z. Liu, L. Jing, S. Ye, J. Shao, et al. (2025) Internvl3. 5: advancing open-source multimodal models in versatility, reasoning, and efficiency. arXiv preprint arXiv:2508.18265.
  14. K. Zou, Z. Zhao, B. Liu, and N. Yu (2026) Advancing aesthetic image generation via composition transfer. International Journal of Computer Vision 134, pp. 252.
  15. J. Chen, Z. Cai, P. Chen, S. Chen, K. Ji, X. Wang, Y. Yang, and B. Wang (2025) Sharegpt-4o-image: aligning multimodal models with gpt-4o-level image generation. arXiv preprint arXiv:2506.18095.
  16. J. Chen, Z. Xu, X. Pan, Y. Hu, C. Qin, T. Goldstein, L. Huang, T. Zhou, S. Xie, S. Savarese, et al. (2025) Blip3-o: a family of fully open unified multimodal models-architecture, training and dataset. arXiv preprint arXiv:2505.09568.
  17. J. Betker, G. Goh, L. Jing, T. Brooks, J. Wang, L. Li, L. Ouyang, J. Zhuang, J. Lee, Y. Guo, W. Manassra, P. Dhariwal, C. Chu, Y. Jiao, and A. Ramesh (2023) Improving image generation with better captions. Technical report OpenAI.
  18. B. F. Labs (2024) FLUX. Note: https://github.com/black-forest-labs/flux.
  19. C. Deng, D. Zhu, K. Li, C. Gou, F. Li, Z. Wang, S. Zhong, W. Yu, X. Nie, Z. Song, et al. (2025) Emerging properties in unified multimodal pretraining. arXiv preprint arXiv:2505.14683.
  20. X. Chen, Z. Wu, X. Liu, Z. Pan, W. Liu, Z. Xie, X. Yu, and C. Ruan (2025) Janus-pro: unified multimodal understanding and generation with data and model scaling. arXiv preprint arXiv:2501.17811.
  21. Y. Wang, Z. Li, Y. Zang, J. Bu, Y. Zhou, Y. Xin, J. He, C. Wang, Q. Lu, C. Jin, et al. (2025) UniGenBench++: a unified semantic evaluation benchmark for text-to-image generation. arXiv preprint arXiv:2510.18701.
  22. X. Wei, J. Zhang, Z. Wang, H. Wei, Z. Guo, and L. Zhang (2025) TIIF-bench: how does your t2i model follow your instructions?. arXiv preprint arXiv:2506.02161.
  23. C. Fu, P. Chen, Y. Shen, Y. Qin, M. Zhang, X. Lin, J. Yang, X. Zheng, K. Li, X. Sun, et al. (2026) MME: a comprehensive evaluation benchmark for multimodal large language models. In Advances in Neural Information Processing Systems, Vol. 38.
  24. D. A. Hudson and C. D. Manning (2019) GQA: a new dataset for real-world visual reasoning and compositional question answering. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 6700–6709.
  25. L. Chen, J. Li, X. Dong, P. Zhang, Y. Zang, Z. Chen, H. Duan, J. Wang, Y. Qiao, D. Lin, et al. (2024) Are we on the right way for evaluating large vision-language models?. Advances in Neural Information Processing Systems 37, pp. 27056–27087.
  26. Y. Li, Y. Du, K. Zhou, J. Wang, X. Zhao, and J. Wen (2023) Evaluating object hallucination in large vision-language models. In Proceedings of the 2023 conference on empirical methods in natural language processing, pp. 292–305.
  27. xAI (2024) Grok-1.5 vision preview. Note: https://x.ai/news/grok-1.5v Accessed: 2026-05-20.
  28. S. Tong, Z. Liu, Y. Zhai, Y. Ma, Y. LeCun, and S. Xie (2024) Eyes wide shut? exploring the visual shortcomings of multimodal LLMs. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 9568–9578.
  29. S. Tong, E. Brown, P. Wu, S. Woo, M. Middepogu, S. C. Akula, J. Yang, S. Yang, A. Iyer, X. Pan, A. Wang, R. Fergus, Y. LeCun, and S. Xie (2024) Cambrian-1: a fully open, vision-centric exploration of multimodal llms. arXiv:2406.16860.
  30. L. Yang, Y. Tian, B. Li, X. Zhang, K. Shen, Y. Tong, and M. Wang (2026) Mmada: multimodal large diffusion language models. Advances in Neural Information Processing Systems 38, pp. 138867–138907.
  31. Y. Xin, Q. Qin, S. Luo, K. Zhu, J. Yan, Y. Tai, J. Lei, Y. Cao, K. Wang, Y. Wang, et al. (2025) Lumina-dimoo: an omni diffusion large language model for multi-modal generation and understanding. arXiv preprint arXiv:2510.06308.
  32. S. Li, K. Kallidromitis, H. Bansal, A. Gokul, Y. Kato, K. Kozuka, J. Kuen, Z. Lin, K. Chang, and A. Grover (2026) Lavida: a large diffusion language model for multimodal understanding. Advances in Neural Information Processing Systems 38, pp. 105101–105134.
  33. Z. You, S. Nie, X. Zhang, J. ZHOU, Z. Lu, J. Wen, and C. Li (2026) Llada-v: large language diffusion models with visual instruction tuning. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 10093–10105.
  34. L. Li, Z. Long, Y. Shen, H. Gao, H. Cao, X. Sun, C. Shan, R. He, and C. Fu (2026) Omni-diffusion: unified multimodal understanding and generation with masked discrete diffusion. arXiv preprint arXiv:2603.06577.
  35. Y. Onoe, S. Rane, Z. Berger, Y. Bitton, J. Cho, R. Garg, A. Ku, Z. Parekh, J. Pont-Tuset, G. Tanzer, et al. (2024) Docci: descriptions of connected and contrasting images. In European Conference on Computer Vision, pp. 291–309.
  36. J. Xie, Z. Yang, and M. Z. Shou (2026) Show-o2: improved native unified multimodal models. Advances in Neural Information Processing Systems 38, pp. 47490–47518.
  37. Y. Miao, Z. Yang, Y. Wei, Z. Chen, H. Ni, H. Duan, K. Chen, and D. Hu (2026) Mibench: evaluating lmms on multimodal interaction. arXiv preprint arXiv:2603.13427.
  38. Y. Li, Q. Gao, T. Zhao, B. Wang, H. Sun, H. Lyu, R. D. Hawkins, N. Vasconcelos, T. Golan, D. Luo, et al. (2024) Core knowledge deficits in multi-modal language models. arXiv preprint arXiv:2410.10855.
  39. J. Arevalo, T. Solorio, M. Montes-y-Gómez, and F. A. González (2017) Gated multimodal units for information fusion. arXiv preprint arXiv:1702.01992.
  40. I. Stogiannidis, S. McDonagh, and S. A. Tsaftaris (2025) Mind the gap: benchmarking spatial reasoning in vision-language models. arXiv preprint arXiv:2503.19707.
  41. S. Zhao, X. Zhang, J. Guo, J. Hu, L. Duan, M. Fu, Y. X. Chng, G. Wang, Q. Chen, Z. Xu, et al. (2025) Unified multimodal understanding and generation models: advances, challenges, and opportunities. arXiv preprint arXiv:2505.02567.
  42. C. Team (2024) Chameleon: mixed-modal early-fusion foundation models. arXiv preprint arXiv:2405.09818.
  43. X. Wang, X. Zhang, Z. Luo, Q. Sun, Y. Cui, J. Wang, F. Zhang, Y. Wang, Z. Li, Q. Yu, et al. (2024) Emu3: next-token prediction is all you need. arXiv preprint arXiv:2409.18869.
  44. R. Yu, X. Ma, and X. Wang (2025) Dimple: discrete diffusion multimodal large language model with parallel decoding. arXiv preprint arXiv:2505.16990.
  45. C. Zhou, L. Yu, A. Babu, K. Tirumala, M. Yasunaga, L. Shamis, J. Kahn, X. Ma, L. Zettlemoyer, and O. Levy (2025) Transfusion: predict the next token and diffuse images with one multi-modal model. In International Conference on Learning Representations, Vol. 2025, pp. 6446–6469.
  46. J. Xie, W. Mao, Z. Bai, D. J. Zhang, W. Wang, K. Q. Lin, Y. Gu, Z. Chen, Z. Yang, and M. Z. Shou (2025) Show-o: one single transformer to unify multimodal understanding and generation. In International Conference on Learning Representations, Vol. 2025, pp. 28240–28264.
  47. A. Aghajanyan, L. Yu, A. Conneau, W. Hsu, K. Hambardzumyan, S. Zhang, S. Roller, N. Goyal, O. Levy, and L. Zettlemoyer (2023) Scaling laws for generative mixed-modal language models. In International Conference on Machine Learning, pp. 265–279.
  48. J. Luo, Z. Pang, Y. Zhang, T. Wang, L. Wang, B. Dang, J. Lao, J. Wang, J. Chen, Y. Tan, et al. (2024) Skysensegpt: a fine-grained instruction tuning dataset and model for remote sensing vision-language understanding. arXiv preprint arXiv:2406.10100.

本页依据 arXiv 全文 v2 与 摘要页 整理,中文表述由本站补写,非官方译本;最后核对 2026-11-20。