全站搜索结果
论文精读
arXiv:2610.00576 逐章拆解
论文 v2 共 17 页、7 图、9 张表、48 条参考文献,arXiv 页标注 CC BY 4.0。下面按章节顺序把每一节讲了什么、给了哪些数字写清楚;本站是要点转述,不整段搬运原文。
| 标题 | Gestalt: Large Multimodal Interplay Model |
|---|---|
| arXiv | https://arxiv.org/abs/2610.00576 |
| 全文 | https://arxiv.org/html/2610.00576v2 |
| DOI | https://doi.org/10.48550/arXiv.2610.00576 |
| 版本 | v1 2026-09-30 · v2 2026-10-08 |
| 许可 | arXiv 页面标注 CC BY 4.0 |
| 章节 | 1 引言 / 2 方法(2.1–2.3)/ 3 实验(3.1–3.4)/ 4 相关工作 / 5 讨论 / 附录 6 数据 / 附录 7 补充结果 / 参考文献 |
摘要在说什么
论文开宗明义:现有大模型主要忙着「容纳更多模态」,却忽略了每个模态各自的特性和模态之间的关系。受人类多感官知觉的分阶段特性启发,作者提出多模态交互金字塔,并据此组织架构、数据与训练。结果是统一离散扩散框架 + 交互分区架构 + 可学习交互 token;在图像生成、多模态理解、纯文本三类评测上,既提升了跨模态整合,也保住了模态特有信息。
逐节要点
1 Introduction · 引言
- 梳理两条既有路线:架构兼容(LLaVA、Qwen2.5-VL:视觉编码器接到预训练语言模型)与数据兼容(Kimi K3、Qwen 3.8:混合模态语料联合预训练)。
- 核心判断:把模态凑齐不等于处理好了模态之间的关系,more is different。
- 借人类多感官知觉的多阶段特性,提出多模态交互金字塔:底层保住模态特有信息 → 中层对齐跨模态冗余 → 顶层整合出协同信息。
- Figure 1b 的例子:文本给出「大狗红项圈、小狗蓝项圈」的大小—颜色关系,图像给出可见的项圈颜色,共同的金毛与草地建立对应,两者合起来才能认出较小的那只。
- 引言里提前给出主要结果:UniGenBench 73.30、TIIF-Bench 短/长 74.57 / 78.86、CV-Bench 两条 78.9 / 86.1(均超过 BAGEL 的 77.7 / 84.2)。
2.1 Unified Interplay-Centric Architecture · 架构
- 离散多模态表示:固定 VQ-VAE 编码器把图像变成 16,384 项码本的离散 token,与文本 token 排进同一序列;底层掩码扩散语言模型用双向注意力,无需自回归的固定生成方向。
- 交互 token:专门的可学习 token 作为视觉流与文本流的共享接口,职能从 Zone I 的中介交换扩展到 Zone II 的完全整合。
- Zone I 瓶颈交互:视觉与文本走各自 FFN,受限注意力禁止两者直连,跨模态信息只能经由交互 token 交换,避免共享计算冲淡模态特有表征。
- Zone II 全模态交互:解除限制,全模态自注意力 + 共享 FFN,图像/文本/交互 token 互相直接可见,交互 token 继续聚合任务相关信息。
- 两者合起来构成 preserve-then-integrate 路径。Figure 2 把 Zone I / Zone II 写成 N1 / N2 层,正文没有给 N2 的具体数值。
2.2 Training Data Organization · 数据组织
- 预训练与持续预训练共用 78M 对齐图文对,学习基础跨模态对应与多模态知识。
- SFT 按金字塔把每条指令样本归入冗余、文本特有、视觉特有、协同四类。
- 13.7M 语料构成:2.8M 冗余、4.2M 文本特有、4.0M 视觉特有、2.7M 协同。
- 详细的数据清洗、子任务划分与图像生成数据说明放在附录 6。
2.3 Progressive Training Strategy · 训练策略
- 统一掩码扩散目标:对多模态序列随机掩码并重建,L_mask = -E_m Σ_{i∈m} log p_θ(x_i | x_{\m});双向条件化,无固定生成顺序。
- 联合掩码预测(预训练):视觉与文本 token 独立掩码、联合重建,同时学模态内结构与双向跨模态依赖。
- 条件掩码预测(CPT 与 SFT):保持一个模态可见,掩码另一个并预测;是联合建模与下游条件生成之间的桥梁。
- 三阶段课程:四类数据全程保留,只调采样比例;从巩固跨模态对齐与语言能力 → 强化视觉特有能力 → 推向更深的多模态整合。
- 作者特别说明:基座已预训练,模态特有的底层基础在多模态训练之前就已具备,因此多模态阶段从中层的冗余对齐起步。
3.1 Training and Evaluation Overview · 训练与评测配置
- 基座 LLaDA-8B-Instruct;IBQ 把图像编码为离散 token,16,384 视觉码本并入语言词表;交错 MRoPE 保留二维空间位置。
- 32 个交互 token;前 4 层 Transformer 为 Zone I;这 4 层新增的视觉 FFN 由 LLaDA 对应层文本 FFN 初始化。
- 三阶段数据:70M(LLaVA-OneVision-1.5)→ 8M → 13.7M(LLaVA-OneVision-1.5、MAmmoTH-VL、FineVision、InternVL),末阶段另含 2.5M 文生图样本(text-to-image-2M、ShareGPT-4o-Image、BLIP3o-60k)。
- 所有阶段全参数可训练。
- 评测顺序刻意设计成:先统一能力 → 再表征几何与语言保持 → 最后跨模态交互与交互 token 内部信息。
3.2 Unified Multimodal Capabilities · 统一能力
- 3.2.1 细粒度文生图:UniGenBench 73.30 为参评最高,超过生成专用组最高的 OmniGen2 71.39 与统一组最高的 Lumina-DiMOO 71.81;在 Style、Rel.、Comp.、Grammar、Layout、Logic 六项排第一,但 Text 只有 3.80。
- 3.2.1 复杂指令遵循:TIIF-Bench 短 / 长 Overall 74.57 / 78.86,三类子项(Basic / Advanced / Designer)两种设置下均第一;长指令引入更多实体与相互依赖约束时优势更大。
- 3.2.2 多模态理解:八个基准分通用 VQA(MME-P、GQA、MMStar-P、POPE、RealworldQA)与视觉中心(MMVP、CV-Bench 2D/3D)两组;在扩散式模型中五项第一、八项中七项前二。
- 3.2.2 CV-Bench 2D/3D 的 78.9 / 86.1 也超过自回归统一模型 BAGEL 的 77.7 / 84.2。
- Table 3 的 † 表示数字来自原论文,其余用官方 checkpoint 与推理脚本实测;论文照录了这一差异。
3.3 Cross-modal Representation Analysis · 表征分析
- 在第 24 层、用 DOCCI 图文对可视化:Lumina-DiMOO 两模态明显分离,Qwen3.8-9B-Distill 部分重叠但仍有大量文本 token 分离,Gestalt 的分布更交织。
- Qwen3.8 无官方 9B checkpoint,论文改用蒸馏版 Qwen3.8-9B-Distill 作对照,并在脚注给出地址 —— 这是论文自己写明的替代口径。
- Table 4:Gestalt 的 Cosine 0.99677 / CKA 0.99494,Lumina-DiMOO 为 0.58795 / 0.43894;投影对齐类模型改动最小。结论是建了新空间但大体保住原结构。
- 纯文本评测设置:MMLU、WinoGrande、TruthfulQA 用 5-shot,HellaSwag、ARC-Easy、ARC-Challenge 用 0-shot,TruthfulQA 报 MC2。
- Table 5:六个文本基准中五项领先扩散式统一模型,ARC-E / ARC-C 提升最大;与 AR 模型比,六项全胜 BAGEL,MMLU 接近 Janus-Pro(49.50 对 49.90)。
3.4 Understanding the Role of Cross-Modal Interplay · 交互作用
- 用 MIBench-Visual(MIB-V)与 CoreCognition Sensorimotor(CoreCog-SM)看视觉特有/基础能力,用 MM-IMDb 与 SRBench 看跨模态协同。
- Table 6:Gestalt 在 CoreCog-SM 55.20、MM-IMDb 67.07、SRBench 53.17 三项为扩散式模型最好;MIB-V 59.89 略低于 LLaDA-o 的 60.31。
- 在第 16 层可视化 MIBench 上交互 token 的隐藏表征:视觉主导与文本主导样本占据大体分离的区域,协同样本形成第三种分布并部分 bridging 前两者。
- 论文据此判断:交互 token 会按预测所需的信息类型调整交换方式。
4 Related Work · 相关工作
- 从架构兼容(视觉编码器 + projector + AR 语言模型)到原生统一模型(共享模型联合预训练,同时支持理解与生成)。
- 统一模型三条技术路线:自回归 next-token prediction、离散扩散、混合 AR-diffusion / flow-based。
- 论文指出的共同缺口:现有工作聚焦于把视觉与文本数据放进同一个模型,没有显式组织跨模态的信息关系与涌现性质。
5 Discussion · 讨论
- 核心判断:统一未必要求从最底层就共享全部计算;先做模态特有处理、受控交换、再完全整合,可能更好地平衡专长与协同。
- 与混合模态 scaling law 研究里把「多模态协同」视为关键组分相互呼应,作者推测规模效应不只取决于模型与数据量,也取决于跨阶段的信息交换如何组织。
- 论文把交互金字塔定位为后续研究多模态 scaling law 的一个结构化设置,是提议,不是已验证结论。
- 致谢:北京市自然科学基金 4262050、北京新星计划 202604841277。
附录 6 Data Organization Strategy · 数据构造
- 6.1 数据清洗:预训练从 LLaVA-OneVision-1.5-Midtraining 选高质量图文对,用 Qwen3-VL-32B-Instruct 校验图文一致性、剔除弱对应样本。
- 6.1 SFT 多轮质控:因 VQ-VAE 压缩会丢失细节、使原本可答的样本在 token 化后不再可答,先规则过滤,再用 Qwen3-VL-32B-Instruct 验证目标回答所需的视觉证据在 token 化后仍然存在。
- 6.2 交互标注:不逐条标注,而是在子任务层做 —— 每个子数据集随机抽 100 条,结合任务启发式与模型辅助校验,判定主导信息结构,再按聚合结果给整个子任务归类。
- 6.2 四类统计:2.8M 冗余、4.0M 视觉特有、4.2M 文本特有、2.7M 协同。
- 6.3 图像生成数据:另收 2.46M 条,不决定课程,而是大致均匀分到三个阶段。
附录 7 Additional Results · 补充实验
- 7.1 课程对照(Table 8):同一 CPT checkpoint、10% SFT 数据,比较均匀混合与交互课程;结论是能力出现顺序被重塑,不是所有指标一致变好。
- 7.2 遥感迁移(Table 9):仅加 5 万条 FIT 遥感 VQA,FGRS 79.34 逼近用 141.5 万条的 SkySenseGPT 79.76,FGRC 38.20 仍有明显差距。
- 7.3 细粒度生成定性(Figure 7):多物体、属性绑定、空间关系、风格一致性;论文举了雪地北极熊与企鹅、金字塔前的骆驼队、塞纳河边的情侣与游轮、不同容器里的花束、装不同内容物的相似瓶子、金属空碗旁的小狗等例子。
- 7.3 风格覆盖:水彩、梵高式油画、印象派、超现实数字艺术、产品摄影、电影感风景、日式动漫;论文强调风格约束影响的是整体光照、色调、笔触、透视与氛围,而非局部贴图。
九张表在哪一页
| 论文表 | 内容 | 本站位置 |
|---|---|---|
| Table 1 | UniGenBench 细粒度文生图 | 评测数据 · 表一 |
| Table 2 | TIIF-Bench 长短指令 | 评测数据 · 表二 |
| Table 3 | 多模态理解八项基准 | 评测数据 · 表三 |
| Table 4 | 语言表征空间偏移与保留 | 分析实验 · 补充表 A |
| Table 5 | 六个纯文本基准 | 评测数据 · 表四 |
| Table 6 | 视觉特有与协同能力 | 评测数据 · 表五 |
| Table 7 | 13.7M 指令数据构成 | 数据与训练 · 补充表 B |
| Table 8 | 三阶段课程对照 | 分析实验 · 补充表 C |
| Table 9 | 遥感领域迁移 | 分析实验 · 补充表 D |
参考文献(48 条,照录题录)
题录从论文 HTML 全文的 References 段提取,保留作者、年份、标题与出处,去掉了 LaTeX 转换残留的 Cited by 标记。完整原文请到 论文全文 查看。
- H. Liu, C. Li, Q. Wu, and Y. J. Lee (2023) Visual instruction tuning. Advances in neural information processing systems 36, pp. 34892–34916.
- S. Bai, K. Chen, X. Liu, J. Wang, W. Ge, S. Song, K. Dang, P. Wang, S. Wang, J. Tang, H. Zhong, Y. Zhu, M. Yang, Z. Li, J. Wan, P. Wang, W. Ding, Z. Fu, Y. Xu, J. Ye, X. Zhang, T. Xie, Z. Cheng, H. Zhang, Z. Yang, H. Xu, and J. Lin (2025) Qwen2.5-vl technical report. arXiv:2502.13923.
- Kimi Team et al. (2026) Kimi K3: open frontier intelligence. arXiv:2607.24653.
- B. E. Stein and M. A. Meredith (1993) The merging of the senses. MIT press.
- M. S. Gazzaniga, R. B. Ivry, and G. R. Mangun (2011) Cognitive neuroscience: the biology of the mind. W. W. Norton.
- X. Tang, J. Wu, and Y. Shen (2016) The interactions of multisensory integration with endogenous and exogenous attention. Neuroscience & Biobehavioral Reviews 61, pp. 208–224.
- W. Köhler (1967) Gestalt psychology. Psychologische forschung 31 ( 1 ), pp. XVIII–XXX.
- F. Shi, Z. Luo, Y. Ge, Y. Yang, Y. Shan, and L. Wang (2025) Scalable image tokenization with index backpropagation quantization. In 2025 IEEE/CVF International Conference on Computer Vision (ICCV), pp. 16037–16046.
- S. Nie, F. Zhu, Z. You, X. Zhang, J. Ou, J. Hu, J. Zhou, Y. Lin, J. Wen, and C. Li (2026) Large language diffusion models. Advances in Neural Information Processing Systems 38, pp. 50608–50646.
- X. An, Y. Xie, K. Yang, W. Zhang, X. Zhao, Z. Cheng, Y. Wang, S. Xu, C. Chen, D. Zhu, et al. (2025) Llava-onevision-1.5: fully open framework for democratized multimodal training. arXiv preprint arXiv:2509.23661.
- J. Guo, T. Zheng, Y. Li, Y. Bai, B. Li, Y. Wang, K. Zhu, G. Neubig, W. Chen, and X. Yue (2025) Mammoth-vl: eliciting multimodal reasoning with instruction tuning at scale. In Proceedings of the 63rd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 13869–13920.
- L. Wiedmann, O. Zohar, A. Mahla, X. Wang, R. Li, T. Frere, L. von Werra, A. R. Gosthipaty, and A. Marafioti (2025) Finevision: open data is all you need. arXiv preprint arXiv:2510.17269.
- W. Wang, Z. Gao, L. Gu, H. Pu, L. Cui, X. Wei, Z. Liu, L. Jing, S. Ye, J. Shao, et al. (2025) Internvl3. 5: advancing open-source multimodal models in versatility, reasoning, and efficiency. arXiv preprint arXiv:2508.18265.
- K. Zou, Z. Zhao, B. Liu, and N. Yu (2026) Advancing aesthetic image generation via composition transfer. International Journal of Computer Vision 134, pp. 252.
- J. Chen, Z. Cai, P. Chen, S. Chen, K. Ji, X. Wang, Y. Yang, and B. Wang (2025) Sharegpt-4o-image: aligning multimodal models with gpt-4o-level image generation. arXiv preprint arXiv:2506.18095.
- J. Chen, Z. Xu, X. Pan, Y. Hu, C. Qin, T. Goldstein, L. Huang, T. Zhou, S. Xie, S. Savarese, et al. (2025) Blip3-o: a family of fully open unified multimodal models-architecture, training and dataset. arXiv preprint arXiv:2505.09568.
- J. Betker, G. Goh, L. Jing, T. Brooks, J. Wang, L. Li, L. Ouyang, J. Zhuang, J. Lee, Y. Guo, W. Manassra, P. Dhariwal, C. Chu, Y. Jiao, and A. Ramesh (2023) Improving image generation with better captions. Technical report OpenAI.
- B. F. Labs (2024) FLUX. Note: https://github.com/black-forest-labs/flux.
- C. Deng, D. Zhu, K. Li, C. Gou, F. Li, Z. Wang, S. Zhong, W. Yu, X. Nie, Z. Song, et al. (2025) Emerging properties in unified multimodal pretraining. arXiv preprint arXiv:2505.14683.
- X. Chen, Z. Wu, X. Liu, Z. Pan, W. Liu, Z. Xie, X. Yu, and C. Ruan (2025) Janus-pro: unified multimodal understanding and generation with data and model scaling. arXiv preprint arXiv:2501.17811.
- Y. Wang, Z. Li, Y. Zang, J. Bu, Y. Zhou, Y. Xin, J. He, C. Wang, Q. Lu, C. Jin, et al. (2025) UniGenBench++: a unified semantic evaluation benchmark for text-to-image generation. arXiv preprint arXiv:2510.18701.
- X. Wei, J. Zhang, Z. Wang, H. Wei, Z. Guo, and L. Zhang (2025) TIIF-bench: how does your t2i model follow your instructions?. arXiv preprint arXiv:2506.02161.
- C. Fu, P. Chen, Y. Shen, Y. Qin, M. Zhang, X. Lin, J. Yang, X. Zheng, K. Li, X. Sun, et al. (2026) MME: a comprehensive evaluation benchmark for multimodal large language models. In Advances in Neural Information Processing Systems, Vol. 38.
- D. A. Hudson and C. D. Manning (2019) GQA: a new dataset for real-world visual reasoning and compositional question answering. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 6700–6709.
- L. Chen, J. Li, X. Dong, P. Zhang, Y. Zang, Z. Chen, H. Duan, J. Wang, Y. Qiao, D. Lin, et al. (2024) Are we on the right way for evaluating large vision-language models?. Advances in Neural Information Processing Systems 37, pp. 27056–27087.
- Y. Li, Y. Du, K. Zhou, J. Wang, X. Zhao, and J. Wen (2023) Evaluating object hallucination in large vision-language models. In Proceedings of the 2023 conference on empirical methods in natural language processing, pp. 292–305.
- xAI (2024) Grok-1.5 vision preview. Note: https://x.ai/news/grok-1.5v Accessed: 2026-05-20.
- S. Tong, Z. Liu, Y. Zhai, Y. Ma, Y. LeCun, and S. Xie (2024) Eyes wide shut? exploring the visual shortcomings of multimodal LLMs. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 9568–9578.
- S. Tong, E. Brown, P. Wu, S. Woo, M. Middepogu, S. C. Akula, J. Yang, S. Yang, A. Iyer, X. Pan, A. Wang, R. Fergus, Y. LeCun, and S. Xie (2024) Cambrian-1: a fully open, vision-centric exploration of multimodal llms. arXiv:2406.16860.
- L. Yang, Y. Tian, B. Li, X. Zhang, K. Shen, Y. Tong, and M. Wang (2026) Mmada: multimodal large diffusion language models. Advances in Neural Information Processing Systems 38, pp. 138867–138907.
- Y. Xin, Q. Qin, S. Luo, K. Zhu, J. Yan, Y. Tai, J. Lei, Y. Cao, K. Wang, Y. Wang, et al. (2025) Lumina-dimoo: an omni diffusion large language model for multi-modal generation and understanding. arXiv preprint arXiv:2510.06308.
- S. Li, K. Kallidromitis, H. Bansal, A. Gokul, Y. Kato, K. Kozuka, J. Kuen, Z. Lin, K. Chang, and A. Grover (2026) Lavida: a large diffusion language model for multimodal understanding. Advances in Neural Information Processing Systems 38, pp. 105101–105134.
- Z. You, S. Nie, X. Zhang, J. ZHOU, Z. Lu, J. Wen, and C. Li (2026) Llada-v: large language diffusion models with visual instruction tuning. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 10093–10105.
- L. Li, Z. Long, Y. Shen, H. Gao, H. Cao, X. Sun, C. Shan, R. He, and C. Fu (2026) Omni-diffusion: unified multimodal understanding and generation with masked discrete diffusion. arXiv preprint arXiv:2603.06577.
- Y. Onoe, S. Rane, Z. Berger, Y. Bitton, J. Cho, R. Garg, A. Ku, Z. Parekh, J. Pont-Tuset, G. Tanzer, et al. (2024) Docci: descriptions of connected and contrasting images. In European Conference on Computer Vision, pp. 291–309.
- J. Xie, Z. Yang, and M. Z. Shou (2026) Show-o2: improved native unified multimodal models. Advances in Neural Information Processing Systems 38, pp. 47490–47518.
- Y. Miao, Z. Yang, Y. Wei, Z. Chen, H. Ni, H. Duan, K. Chen, and D. Hu (2026) Mibench: evaluating lmms on multimodal interaction. arXiv preprint arXiv:2603.13427.
- Y. Li, Q. Gao, T. Zhao, B. Wang, H. Sun, H. Lyu, R. D. Hawkins, N. Vasconcelos, T. Golan, D. Luo, et al. (2024) Core knowledge deficits in multi-modal language models. arXiv preprint arXiv:2410.10855.
- J. Arevalo, T. Solorio, M. Montes-y-Gómez, and F. A. González (2017) Gated multimodal units for information fusion. arXiv preprint arXiv:1702.01992.
- I. Stogiannidis, S. McDonagh, and S. A. Tsaftaris (2025) Mind the gap: benchmarking spatial reasoning in vision-language models. arXiv preprint arXiv:2503.19707.
- S. Zhao, X. Zhang, J. Guo, J. Hu, L. Duan, M. Fu, Y. X. Chng, G. Wang, Q. Chen, Z. Xu, et al. (2025) Unified multimodal understanding and generation models: advances, challenges, and opportunities. arXiv preprint arXiv:2505.02567.
- C. Team (2024) Chameleon: mixed-modal early-fusion foundation models. arXiv preprint arXiv:2405.09818.
- X. Wang, X. Zhang, Z. Luo, Q. Sun, Y. Cui, J. Wang, F. Zhang, Y. Wang, Z. Li, Q. Yu, et al. (2024) Emu3: next-token prediction is all you need. arXiv preprint arXiv:2409.18869.
- R. Yu, X. Ma, and X. Wang (2025) Dimple: discrete diffusion multimodal large language model with parallel decoding. arXiv preprint arXiv:2505.16990.
- C. Zhou, L. Yu, A. Babu, K. Tirumala, M. Yasunaga, L. Shamis, J. Kahn, X. Ma, L. Zettlemoyer, and O. Levy (2025) Transfusion: predict the next token and diffuse images with one multi-modal model. In International Conference on Learning Representations, Vol. 2025, pp. 6446–6469.
- J. Xie, W. Mao, Z. Bai, D. J. Zhang, W. Wang, K. Q. Lin, Y. Gu, Z. Chen, Z. Yang, and M. Z. Shou (2025) Show-o: one single transformer to unify multimodal understanding and generation. In International Conference on Learning Representations, Vol. 2025, pp. 28240–28264.
- A. Aghajanyan, L. Yu, A. Conneau, W. Hsu, K. Hambardzumyan, S. Zhang, S. Roller, N. Goyal, O. Levy, and L. Zettlemoyer (2023) Scaling laws for generative mixed-modal language models. In International Conference on Machine Learning, pp. 265–279.
- J. Luo, Z. Pang, Y. Zhang, T. Wang, L. Wang, B. Dang, J. Lao, J. Wang, J. Chen, Y. Tan, et al. (2024) Skysensegpt: a fine-grained instruction tuning dataset and model for remote sensing vision-language understanding. arXiv preprint arXiv:2406.10100.
本页依据 arXiv 全文 v2 与 摘要页 整理,中文表述由本站补写,非官方译本;最后核对 2026-11-20。