全站搜索结果
全站索引
全站内容,一页看全
左栏顶部的搜索框在每一个页面都有,能检索到全站正文:中文自动分词、英文整词、多个词并列。输入后点「搜」或按回车,结果列在右侧主区。本页是它的静态完整版——所有条目直接写在 HTML 源码里,禁用脚本也能展开或用浏览器查找,一条不少。
搜索怎么用
会分词
- 中文按整词 + 二元切分:「训练数据」能命中「三阶段训练数据」「13.7M 指令数据构成」。
- 英文与数字整词保留:
LLaDA-8B-Instruct、0.99677、Table 8都能直接搜。 - 空格分隔多个词,需同时命中:例如「许可证 TODO」「Zone I 32」。
- 输入后点「搜」或按回车,右侧主区按命中权重列出结果,标题高亮命中片段;点条目直达正文对应段落,点「返回本页内容」回到原页面。
边界
- 只做字面匹配,不做语义检索、不联网、不记录输入、不调用任何外部服务。
- 覆盖全站 19 页的章节、段落、表格行、图注与代码,外加 274 条结构化条目;不含图片内部文字与外链目标站点内容。
- 禁用脚本时搜索框不响应,但下面两份静态索引完整可读;也可直接用 完整文档 一次读完全文。
结构化索引(274 条)
页面、文档章节、术语、基准、参评模型、常见问题、九张表、仓库文件、48 条文献、作者机构、训练参数与数据构成。
术语IBQ / Index Backpropagation Quantization图像 tokenizer,固定 VQ-VAE 编码器,码本 16,384 项;论文引用 ICCV 2025 的工作。
常见问题为什么中文网上有完全不同的两个 Gestalt?至少四个同名对象:本模型、匿名 stealth 设计模型、格式塔心理学、其他同名产品。中文圈常把本模型误当成匿名设计模型的出处,无任何公开确认。看同名辨析页。
常见问题能直接体验吗?官方主页给了 Hugging Face Space Demo 链接,但本站建站时本机网络访问 Hugging Face 未成功,因此不写「可正常体验」,只原样列完整地址。请以官方页面当前状态为准。
常见问题许可证是 Apache 2.0 吗?README 这么写,但同一句后留着 TODO: confirm license,仓库根目录没有 LICENSE 文件,GitHub API 的 license 字段也为空。本站按「待核实」处理,商用或二次分发请自行向官方确认。
常见问题三阶段课程真的比均匀混合好吗?不是无条件更好。论文 Table 8 显示它改变的是能力出现的顺序:早期 MME-P +113.8 但 MMStar-P -4.44,到阶段 3 反转。论文原文是 progressively reshapes,不是 uniformly improves。
常见问题Gestalt 是不是「全面超越」其他模型?不是。Table 3 的 MME-P(BAGEL 1687.0 > 1600.2)、Table 5 的 MMLU(Show-o2 71.70 > 49.50)、Table 6 的 MIB-V(LLaDA-o 60.31 > 59.89)、Table 1 的 Text(3.80)都不是第一。官方措辞带「在参评模型中」的限定。
常见问题训练时最容易踩的坑是什么?checkpoint 目录必须含 tokenizer.json;Parquet 文件数不能少于分布式进程数;T2I 默认空 system prompt,若训练数据用了固定非空系统提示词,推理时要通过 --system-prompt 传同一段文字。
补充表格补充表 A · 语言表征空间的偏移与保留(论文 Table 4)以预训练 LLaDA 为参照,衡量两种多模态适配范式对语言嵌入空间的改动。Norm / Distance 看分布偏移,Cosine Sim. / CKA 看结构保留。数值照录论文 Table 4。
补充表格补充表 B · 13.7M 指令数据的构成(论文 Table 7)附录 6.2 把 13.7M 指令样本按主导交互类型组织。R=冗余、Uv=视觉特有、Ut=文本特有、S=协同。样本数与占比照录 Table 7。
补充表格补充表 C · 三阶段课程的对照实验(论文 Table 8)从同一 CPT checkpoint 出发、只用 10% SFT 数据,比较「全程均匀混合」与「按交互类型排课程」。U=Uniform,C=Curriculum,Diff.=C 减 U。数字照录 Table 8。
补充表格补充表 D · 遥感领域迁移(论文 Table 9)只向训练混合里加入 5 万条 FIT 遥感 VQA 样本,考察模型吸收新视觉域知识的效率。FGRS 考细粒度识别,FGRC 考物体与区域间的关系推理。
参考文献[1] H. Liu, C. Li, Q. Wu, and Y. J. Lee (2023) Visual instruction tuning. H. Liu, C. Li, Q. Wu, and Y. J. Lee (2023) Visual instruction tuning. Advances in neural information processing systems
参考文献[2] S. Bai, K. Chen, X. Liu, J. Wang, W. Ge, S. Song, K. Dang, P. Wang, S.S. Bai, K. Chen, X. Liu, J. Wang, W. Ge, S. Song, K. Dang, P. Wang, S. Wang, J. Tang, H. Zhong, Y. Zhu, M. Yang, Z. Li,
参考文献[3] Kimi Team et al. (2026) Kimi K3: open frontier intelligence. arXiv:260Kimi Team et al. (2026) Kimi K3: open frontier intelligence. arXiv:2607.24653.
参考文献[4] B. E. Stein and M. A. Meredith (1993) The merging of the senses. MIT pB. E. Stein and M. A. Meredith (1993) The merging of the senses. MIT press.
参考文献[5] M. S. Gazzaniga, R. B. Ivry, and G. R. Mangun (2011) Cognitive neuroscM. S. Gazzaniga, R. B. Ivry, and G. R. Mangun (2011) Cognitive neuroscience: the biology of the mind. W. W. Norton.
参考文献[6] X. Tang, J. Wu, and Y. Shen (2016) The interactions of multisensory inX. Tang, J. Wu, and Y. Shen (2016) The interactions of multisensory integration with endogenous and exogenous attention.
参考文献[7] W. Köhler (1967) Gestalt psychology. Psychologische forschung 31 ( 1 )W. Köhler (1967) Gestalt psychology. Psychologische forschung 31 ( 1 ), pp. XVIII–XXX.
参考文献[8] F. Shi, Z. Luo, Y. Ge, Y. Yang, Y. Shan, and L. Wang (2025) Scalable iF. Shi, Z. Luo, Y. Ge, Y. Yang, Y. Shan, and L. Wang (2025) Scalable image tokenization with index backpropagation quant
参考文献[9] S. Nie, F. Zhu, Z. You, X. Zhang, J. Ou, J. Hu, J. Zhou, Y. Lin, J. WeS. Nie, F. Zhu, Z. You, X. Zhang, J. Ou, J. Hu, J. Zhou, Y. Lin, J. Wen, and C. Li (2026) Large language diffusion model
参考文献[10] X. An, Y. Xie, K. Yang, W. Zhang, X. Zhao, Z. Cheng, Y. Wang, S. Xu, CX. An, Y. Xie, K. Yang, W. Zhang, X. Zhao, Z. Cheng, Y. Wang, S. Xu, C. Chen, D. Zhu, et al. (2025) Llava-onevision-1.5:
参考文献[11] J. Guo, T. Zheng, Y. Li, Y. Bai, B. Li, Y. Wang, K. Zhu, G. Neubig, W.J. Guo, T. Zheng, Y. Li, Y. Bai, B. Li, Y. Wang, K. Zhu, G. Neubig, W. Chen, and X. Yue (2025) Mammoth-vl: eliciting mul
参考文献[12] L. Wiedmann, O. Zohar, A. Mahla, X. Wang, R. Li, T. Frere, L. von WerrL. Wiedmann, O. Zohar, A. Mahla, X. Wang, R. Li, T. Frere, L. von Werra, A. R. Gosthipaty, and A. Marafioti (2025) Finev
参考文献[13] W. Wang, Z. Gao, L. Gu, H. Pu, L. Cui, X. Wei, Z. Liu, L. Jing, S. Ye,W. Wang, Z. Gao, L. Gu, H. Pu, L. Cui, X. Wei, Z. Liu, L. Jing, S. Ye, J. Shao, et al. (2025) Internvl3. 5: advancing op
参考文献[14] K. Zou, Z. Zhao, B. Liu, and N. Yu (2026) Advancing aesthetic image geK. Zou, Z. Zhao, B. Liu, and N. Yu (2026) Advancing aesthetic image generation via composition transfer. International J
参考文献[15] J. Chen, Z. Cai, P. Chen, S. Chen, K. Ji, X. Wang, Y. Yang, and B. WanJ. Chen, Z. Cai, P. Chen, S. Chen, K. Ji, X. Wang, Y. Yang, and B. Wang (2025) Sharegpt-4o-image: aligning multimodal mo
参考文献[16] J. Chen, Z. Xu, X. Pan, Y. Hu, C. Qin, T. Goldstein, L. Huang, T. ZhouJ. Chen, Z. Xu, X. Pan, Y. Hu, C. Qin, T. Goldstein, L. Huang, T. Zhou, S. Xie, S. Savarese, et al. (2025) Blip3-o: a fa
参考文献[17] J. Betker, G. Goh, L. Jing, T. Brooks, J. Wang, L. Li, L. Ouyang, J. ZJ. Betker, G. Goh, L. Jing, T. Brooks, J. Wang, L. Li, L. Ouyang, J. Zhuang, J. Lee, Y. Guo, W. Manassra, P. Dhariwal, C
参考文献[18] B. F. Labs (2024) FLUX. Note: https://github.com/black-forest-labs/fluB. F. Labs (2024) FLUX. Note: https://github.com/black-forest-labs/flux.
参考文献[19] C. Deng, D. Zhu, K. Li, C. Gou, F. Li, Z. Wang, S. Zhong, W. Yu, X. NiC. Deng, D. Zhu, K. Li, C. Gou, F. Li, Z. Wang, S. Zhong, W. Yu, X. Nie, Z. Song, et al. (2025) Emerging properties in u
参考文献[20] X. Chen, Z. Wu, X. Liu, Z. Pan, W. Liu, Z. Xie, X. Yu, and C. Ruan (20X. Chen, Z. Wu, X. Liu, Z. Pan, W. Liu, Z. Xie, X. Yu, and C. Ruan (2025) Janus-pro: unified multimodal understanding an
参考文献[21] Y. Wang, Z. Li, Y. Zang, J. Bu, Y. Zhou, Y. Xin, J. He, C. Wang, Q. LuY. Wang, Z. Li, Y. Zang, J. Bu, Y. Zhou, Y. Xin, J. He, C. Wang, Q. Lu, C. Jin, et al. (2025) UniGenBench++: a unified s
参考文献[22] X. Wei, J. Zhang, Z. Wang, H. Wei, Z. Guo, and L. Zhang (2025) TIIF-beX. Wei, J. Zhang, Z. Wang, H. Wei, Z. Guo, and L. Zhang (2025) TIIF-bench: how does your t2i model follow your instructi
参考文献[23] C. Fu, P. Chen, Y. Shen, Y. Qin, M. Zhang, X. Lin, J. Yang, X. Zheng, C. Fu, P. Chen, Y. Shen, Y. Qin, M. Zhang, X. Lin, J. Yang, X. Zheng, K. Li, X. Sun, et al. (2026) MME: a comprehensive
参考文献[24] D. A. Hudson and C. D. Manning (2019) GQA: a new dataset for real-worlD. A. Hudson and C. D. Manning (2019) GQA: a new dataset for real-world visual reasoning and compositional question answ
参考文献[25] L. Chen, J. Li, X. Dong, P. Zhang, Y. Zang, Z. Chen, H. Duan, J. Wang,L. Chen, J. Li, X. Dong, P. Zhang, Y. Zang, Z. Chen, H. Duan, J. Wang, Y. Qiao, D. Lin, et al. (2024) Are we on the righ
参考文献[26] Y. Li, Y. Du, K. Zhou, J. Wang, X. Zhao, and J. Wen (2023) Evaluating Y. Li, Y. Du, K. Zhou, J. Wang, X. Zhao, and J. Wen (2023) Evaluating object hallucination in large vision-language mode
参考文献[27] xAI (2024) Grok-1.5 vision preview. Note: https://x.ai/news/grok-1.5v xAI (2024) Grok-1.5 vision preview. Note: https://x.ai/news/grok-1.5v Accessed: 2026-05-20.
参考文献[28] S. Tong, Z. Liu, Y. Zhai, Y. Ma, Y. LeCun, and S. Xie (2024) Eyes wideS. Tong, Z. Liu, Y. Zhai, Y. Ma, Y. LeCun, and S. Xie (2024) Eyes wide shut? exploring the visual shortcomings of multim
参考文献[29] S. Tong, E. Brown, P. Wu, S. Woo, M. Middepogu, S. C. Akula, J. Yang, S. Tong, E. Brown, P. Wu, S. Woo, M. Middepogu, S. C. Akula, J. Yang, S. Yang, A. Iyer, X. Pan, A. Wang, R. Fergus, Y. L
参考文献[30] L. Yang, Y. Tian, B. Li, X. Zhang, K. Shen, Y. Tong, and M. Wang (2026L. Yang, Y. Tian, B. Li, X. Zhang, K. Shen, Y. Tong, and M. Wang (2026) Mmada: multimodal large diffusion language model
参考文献[31] Y. Xin, Q. Qin, S. Luo, K. Zhu, J. Yan, Y. Tai, J. Lei, Y. Cao, K. WanY. Xin, Q. Qin, S. Luo, K. Zhu, J. Yan, Y. Tai, J. Lei, Y. Cao, K. Wang, Y. Wang, et al. (2025) Lumina-dimoo: an omni di
参考文献[32] S. Li, K. Kallidromitis, H. Bansal, A. Gokul, Y. Kato, K. Kozuka, J. KS. Li, K. Kallidromitis, H. Bansal, A. Gokul, Y. Kato, K. Kozuka, J. Kuen, Z. Lin, K. Chang, and A. Grover (2026) Lavida
参考文献[33] Z. You, S. Nie, X. Zhang, J. ZHOU, Z. Lu, J. Wen, and C. Li (2026) LlaZ. You, S. Nie, X. Zhang, J. ZHOU, Z. Lu, J. Wen, and C. Li (2026) Llada-v: large language diffusion models with visual
参考文献[34] L. Li, Z. Long, Y. Shen, H. Gao, H. Cao, X. Sun, C. Shan, R. He, and CL. Li, Z. Long, Y. Shen, H. Gao, H. Cao, X. Sun, C. Shan, R. He, and C. Fu (2026) Omni-diffusion: unified multimodal und
参考文献[35] Y. Onoe, S. Rane, Z. Berger, Y. Bitton, J. Cho, R. Garg, A. Ku, Z. ParY. Onoe, S. Rane, Z. Berger, Y. Bitton, J. Cho, R. Garg, A. Ku, Z. Parekh, J. Pont-Tuset, G. Tanzer, et al. (2024) Docci
参考文献[36] J. Xie, Z. Yang, and M. Z. Shou (2026) Show-o2: improved native unifieJ. Xie, Z. Yang, and M. Z. Shou (2026) Show-o2: improved native unified multimodal models. Advances in Neural Informatio
参考文献[37] Y. Miao, Z. Yang, Y. Wei, Z. Chen, H. Ni, H. Duan, K. Chen, and D. Hu Y. Miao, Z. Yang, Y. Wei, Z. Chen, H. Ni, H. Duan, K. Chen, and D. Hu (2026) Mibench: evaluating lmms on multimodal inte
参考文献[38] Y. Li, Q. Gao, T. Zhao, B. Wang, H. Sun, H. Lyu, R. D. Hawkins, N. VasY. Li, Q. Gao, T. Zhao, B. Wang, H. Sun, H. Lyu, R. D. Hawkins, N. Vasconcelos, T. Golan, D. Luo, et al. (2024) Core kno
参考文献[39] J. Arevalo, T. Solorio, M. Montes-y-Gómez, and F. A. González (2017) GJ. Arevalo, T. Solorio, M. Montes-y-Gómez, and F. A. González (2017) Gated multimodal units for information fusion. arXi
参考文献[40] I. Stogiannidis, S. McDonagh, and S. A. Tsaftaris (2025) Mind the gap:I. Stogiannidis, S. McDonagh, and S. A. Tsaftaris (2025) Mind the gap: benchmarking spatial reasoning in vision-language
参考文献[41] S. Zhao, X. Zhang, J. Guo, J. Hu, L. Duan, M. Fu, Y. X. Chng, G. Wang,S. Zhao, X. Zhang, J. Guo, J. Hu, L. Duan, M. Fu, Y. X. Chng, G. Wang, Q. Chen, Z. Xu, et al. (2025) Unified multimodal
参考文献[42] C. Team (2024) Chameleon: mixed-modal early-fusion foundation models. C. Team (2024) Chameleon: mixed-modal early-fusion foundation models. arXiv preprint arXiv:2405.09818.
参考文献[43] X. Wang, X. Zhang, Z. Luo, Q. Sun, Y. Cui, J. Wang, F. Zhang, Y. Wang,X. Wang, X. Zhang, Z. Luo, Q. Sun, Y. Cui, J. Wang, F. Zhang, Y. Wang, Z. Li, Q. Yu, et al. (2024) Emu3: next-token pred
参考文献[44] R. Yu, X. Ma, and X. Wang (2025) Dimple: discrete diffusion multimodalR. Yu, X. Ma, and X. Wang (2025) Dimple: discrete diffusion multimodal large language model with parallel decoding. arXi
参考文献[45] C. Zhou, L. Yu, A. Babu, K. Tirumala, M. Yasunaga, L. Shamis, J. Kahn,C. Zhou, L. Yu, A. Babu, K. Tirumala, M. Yasunaga, L. Shamis, J. Kahn, X. Ma, L. Zettlemoyer, and O. Levy (2025) Transfu
参考文献[46] J. Xie, W. Mao, Z. Bai, D. J. Zhang, W. Wang, K. Q. Lin, Y. Gu, Z. CheJ. Xie, W. Mao, Z. Bai, D. J. Zhang, W. Wang, K. Q. Lin, Y. Gu, Z. Chen, Z. Yang, and M. Z. Shou (2025) Show-o: one sing
参考文献[47] A. Aghajanyan, L. Yu, A. Conneau, W. Hsu, K. Hambardzumyan, S. Zhang, A. Aghajanyan, L. Yu, A. Conneau, W. Hsu, K. Hambardzumyan, S. Zhang, S. Roller, N. Goyal, O. Levy, and L. Zettlemoyer (
参考文献[48] J. Luo, Z. Pang, Y. Zhang, T. Wang, L. Wang, B. Dang, J. Lao, J. Wang,J. Luo, Z. Pang, Y. Zhang, T. Wang, L. Wang, B. Dang, J. Lao, J. Wang, J. Chen, Y. Tan, et al. (2024) Skysensegpt: a fin
正文全文条目(1381 条)
按页面分组,来自构建时对 19 页真实 HTML 的逐块抽取;每条都带锚点,点击直达该段落或表格行。默认收起,展开后源码里全部可见。
首页(46 条)
- 非官方 · 中文资料站 · gestaltx.org
- Gestalt:把「交互」写进架构里的大型多模态模型
- Gestalt 是中国人民大学高瓴人工智能学院等机构提出的统一多模态模型。它没有把力气花在「再接一种模态」上,而是追问:图像和文本各自独有的信息、共有的…
- 本站是第三方中文整理,与论文作者、GeWu-Lab 及各所属机构无关联。所有数字都标了出处与核对时间;查不到的,就写查不到。
- 它到底想解决什么
- 论文开头给了一个判断:多模态模型已经从「架构兼容」(给语言模型接一个视觉编码器)走到「数据兼容」(把多种模态混在一起预训练),但这条路正在碰到瓶颈 ——…
- 于是有了「多模态交互金字塔」:底层保住只有单一模态才知道的信息,中层对齐两种模态都提到的冗余信息,顶层把互补线索合起来,推导出任何单一模态都给不出的结论…
- 本站依据论文「多模态交互金字塔」概念自绘,非官方原图。三色沿用官方既有色(蓝=视觉、紫=语言、粉=协同),图形为本站自建的三角形母题。论文里的例子:文字…
- 四个入口,按需看
- 全称、机构、作者、时间线、名字来源,以及四个官方一手入口。
- 金字塔三层、Zone I / Zone II、交互 token、离散扩散与三阶段课程。
- 五组官方评测表全量中文整理,附「怎么读这些数字」。
- 环境、权重、推理、训练、数据格式、引用与许可证提示。
- 深度内容另有 数据与训练 · 分析实验 · 论文精读 · 仓库结构 · 术语与词典 · 常见问题 。全部页面与覆盖对照见 内容全集索引 。
- 全称 Gestalt: Large Multimodal Interplay Model(大型多模态交互模型)
- 主要机构 中国人民大学高瓴人工智能学院、大模型与智慧治理北京市重点实验室、北京航空航天大学、北京邮电大学、上海人工智能实验室、AresoX
- 基座 LLaDA-8B-Instruct
- 框架 统一离散扩散(unified discrete diffusion)
- 图像表示 IBQ,视觉码本 16,384 项,并入语言词表;交错 MRoPE 保留二维空间位置
- 交互 token 32 个,可学习
- Zone I 前 4 层 Transformer;其余层为 Zone II
- 训练数据 70M 图文对预训练 + 8M 条件持续预训练 + 13.7M 指令微调(另含约 2.5M 文生图样本)
- 论文 arXiv:2610.00576(v1 2026-09-30,v2 2026-10-08,17 页 7 图)
- 发布时间 2026-09-30 放出权重与训练/推理代码(据官方 README 的 News)
- 许可证 README 声明 Apache 2.0,但同句后留有 TODO: confirm license,且仓库根目录未见 LICENSE 文件 ——…
- 以上逐条来自论文全文、官方项目主页与仓库 README,最后核对 2026-11-20。许可证一栏请特别留意:官方自己留了待确认标记。
- 已核实的 / 还没核实的
- 这是本站的固定形态:左栏只放能追到一手来源的结论,右栏放官方没给或本机没核实的事,不把两者混成一段话。
- 基座为 LLaDA-8B-Instruct,图像经 IBQ 编为离散 token,视觉码本 16,384 项并入语言词表
- 使用 32 个可学习交互 token;前 4 层 Transformer 为 Interplay Zone I,其余为 Zone II
- 训练三阶段:70M 图文对联合掩码预测、8M 条件持续预训练、13.7M 指令微调(另含约 2.5M 文生图样本),全阶段全参数可训练
- 论文 v1 2026-09-30、v2 2026-10-08,17 页 7 图,arXiv 页面标注 CC BY 4.0
- 五组评测数字均来自官方项目页表格,本站未复现
- ? 待核实 / 官方未给
- 许可证:README 写 Apache 2.0,但留有 TODO 待确认注释,仓库根目录无 LICENSE 文件
- SFT 数据:官方 README 写 SFT data coming soon,尚未放出
- 模型权重与在线 Demo:官方页与 README 均给出链接,本机网络未能访问 Hugging Face,未核对当前可访问性与下载量
- 论文没有给出参数量、interplay token 之外的层数分配细节与训练算力,本站不推测
- 官方项目页与 README 未标注最新维护状态;仓库最后推送为 2026-10-10
- 这些是论文与官方项目页公布的评测结果,不是本站复现;读法与边界见 评测数据 。
- 2026-09-29 代码仓库建立 :GeWu-Lab/Gestalt 创建。
- 2026-09-30 权重与代码放出 :官方 README 的 News 记载放出模型权重与训练、推理代码;论文 v1 同日提交 arXiv。
- 2026-10-02 论文发布公告 :README 的 News 记载 arXiv 论文上线。
- 2026-10-08 论文 v2 :修订版提交,17 页、7 图,arXiv 页标注 CC BY 4.0。
- 2026-11-20 本站建站核对 :逐条核对上述一手来源,形成本页与全站快照。
- 本页数据来自 官方项目主页 、 arXiv:2610.00576 、 论文全文 与 代码仓库 。整理与中文表述由本站完成,非官方发布;最后核对 2026…
模型概览(27 条)
- 这是什么,谁做的,去哪找一手资料
- 一句话:Gestalt 是一个围绕「多模态交互」组织起来的统一模型 —— 同一个离散扩散框架里同时做图像生成、多模态理解和纯文本任务,而不是三套模型拼起…
- 英文全称 Gestalt: Large Multimodal Interplay Model
- 中文可译作 大型多模态交互模型(本站译法,非官方定名)
- 论文编号 arXiv:2610.00576(v1 2026-09-30,v2 2026-10-08,17 页 7 图)
- DOI https://doi.org/10.48550/arXiv.2610.00576
- 基座 LLaDA-8B-Instruct(统一离散扩散框架)
- 主要机构 中国人民大学高瓴人工智能学院、大模型与智慧治理北京市重点实验室、北京航空航天大学、北京邮电大学、上海人工智能实验室、AresoX
- 作者(11 位) Zequn Yang、Yu Miao、Haotian Ni、Ziheng Chen、Chengxiang Huang、Dongzhan…
- 作者分工要点 前五位共同一作;Yake Wei 与 Di Hu 为团队负责人,Di Hu 为通讯作者;Di Hu 发起项目(据仓库 README 的 A…
- 代码 https://github.com/GeWu-Lab/Gestalt
- 权重 https://huggingface.co/GeWu-Lab/Gestalt
- 在线 Demo https://huggingface.co/spaces/hugging-apps/gestalt
- 官方主页 https://gewu-lab.github.io/Gestalt/
- README 与论文都写明:名字取自格式塔心理学(Gestalt psychology)那句「整体大于部分之和」。放在这个模型上很贴切 —— 它关心的正…
- 四个官方入口,一眼看清
- 最全:架构说明、五组评测表、示例图、论文/代码/权重/Demo 入口。
- 17 页、7 图,v1 2026-09-30、v2 2026-10-08,CC BY 4.0。
- 训练与推理脚本、快速上手、数据格式、引用格式、更新动态。
- 官方主页与 README 指向的权重地址(本机网络未核实可访问性)。
- 2026-09-29 代码仓库创建(GitHub API)。
- 2026-09-30 放出权重与训练/推理代码;论文 v1 提交。
- 2026-10-02 README 公告 arXiv 论文上线。
- 2026-10-08 论文 v2 修订版。
- 2026-10-10 仓库最后一次推送(GitHub API 快照,2026-11-20 核对)。
- 待定 README 写着 SFT 数据「coming soon」,截至本站核对日尚未放出。
- 来源: 官方项目主页 、 arXiv 摘要页 、 仓库 README 、GitHub API 仓库元数据。最后核对 2026-11-20。
方法与架构(27 条)
- 先保住,再对齐,最后整合
- 论文把「多模态交互金字塔」同时落到了三处:架构怎么分区、数据怎么分类、训练怎么排课程。这一页按这个顺序讲清楚。
- 一、金字塔的三层
- 本站依据论文「多模态交互金字塔」概念自绘,非官方原图。三色沿用官方既有色(蓝=视觉、紫=语言、粉=协同),图形为本站自建的三角形母题。论文里的例子:文字…
- 模态特有信息建模 :只存在于某一个模态里的信息(图像里的颜色、纹理,文本里的关系描述),必须先被保住,不能被对齐过程抹平。
- 跨模态冗余对齐 :两种模态都提到的共有内容(同一只狗、同一片草地),用来建立跨模态对应关系。
- 多模态协同 :把互补线索合起来,得到单独看哪一边都得不到的结论。论文的例子是「大狗红项圈、小狗蓝项圈」,图像给出颜色、文本给出大小与颜色的对应,合起来才…
- 二、架构:两个 Zone + 交互 token
- 图像经 IBQ 编成离散 token(视觉码本 16,384 项并入语言词表),与文本 token 排进同一序列,用交错 MRoPE 保留图像的二维位置…
- 论文的核心设计不是「从第一层就共享全部计算」,而是先用受限交换保住模态特有信息,再放开做全模态整合。论文讨论节的判断是:统一未必要求从最底层就共享计算,…
- Interplay Zone I 瓶颈交互。视觉与文本走各自独立的 FFN,跨模态直连注意力受限,交换只能经由交互 token 中介。论文指定 前 4 …
- Interplay Zone II 全模态交互。限制解除,图像、文本、交互 token 通过全模态自注意力与共享 FFN 一起整合。
- 交互 token 32 个可学习 token,贯穿两个 Zone,负责中介跨模态的信息交换与整合。
- 底座 统一离散扩散:不采用自回归的固定生成方向,视觉与文本 token 可以互相作为条件。
- 以上数字与设定取自论文全文 3.1 节「Training and Model Configuration」与 2.1 节,最后核对 2026-11-20…
- 三、训练:三阶段 + 三阶段课程
- 阶段 数据量 目标 数据来源
- 多模态预训练 70M 图文对 联合掩码预测(joint masked prediction) LLaVA-OneVision-1.5
- 条件持续预训练 8M 图文对 条件掩码预测:留一个模态可见,预测另一个 论文未在本节单列
- 指令微调 13.7M 指令样本 另含约 2.5M 文生图样本 四类交互数据 + 三阶段课程 LLaVA-OneVision-1.5、MAmmoTH-VL…
- 论文把前两阶段合称为 78M 对齐图文对;所有阶段 全参数可训练 。官方项目主页把最后一阶段写成 13.7M (+≈2.5M T2I),与论文正文一致。
- 指令微调的数据被分成四类: 冗余、文本特有、视觉特有、协同 。三个阶段里四类数据始终都在,只调整采样比例:先巩固跨模态对齐与语言能力,再强化视觉特有能力…
- 四、评测之外,论文还看了什么
- 表征空间 :视觉与文本 token 的分布比参评的扩散式、自回归基线更交织,同时大体保住了预训练的语言几何结构。
- 交互 token 的表征 :这些 token 分化出视觉特有、文本特有、协同三种结构,协同分布部分 bridging 另外两者,说明它们会按信息需求调整…
- 附录 :交互导向课程的效果、遥感任务上的迁移、细粒度生成的定性分析。
- 来源: 论文全文 v2 (2.1 / 2.2 / 2.3 / 3.1 / 5 节)、 官方项目主页 、 仓库 README 。图示为本站自绘,非官方原图…
评测数据(69 条)
- 五组官方评测,逐项摆出来
- 下面的数字全部照录官方项目主页的评测表格,本站只做中文表头、分组排版和读法说明, 没有复现、没有重算、没有挑好看的只列一半 。
- 官方描述:Gestalt 在参评模型中取得最高总分,兼顾细粒度语义对齐与组合式生成。下表为英文长提示设置。
- 模型 Overall Style World Attr. Action Rel. Comp. Grammar Layout Logic Text
- 生成专用模型(Gen. Only)
- DALL-E-3 70.82 95.08 92.71 84.98 68.36 77.90 73.88 68.19 71.76 57.11 18.26
- SD-3.5-Large 64.35 88.12 88.15 78.78 59.63 67.62 62.21 65.23 71.19 44.90 17.…
- OmniGen2 71.39 94.35 84.83 83.03 66.57 73.06 70.49 76.40 80.63 56.55 27.99
- 统一模型(Unified)
- Emu3 50.95 89.36 76.16 66.81 43.80 51.70 46.00 50.25 56.67 27.43 1.36
- Show-o2 70.33 93.11 88.44 86.35 69.02 77.37 76.45 70.30 80.63 59.71 1.90
- Janus-Pro 71.11 94.02 88.15 81.81 69.14 77.96 76.53 74.62 82.14 62.62 4.08
- MMaDA 40.10 75.83 52.75 49.90 32.42 39.06 38.37 50.00 43.02 19.42 0.27
- BAGEL 71.26 92.44 89.31 84.21 67.62 75.70 74.71 74.75 81.90 59.71 12.23
- Lumina-DiMOO 71.81 86.88 88.58 83.71 69.66 73.33 74.93 74.49 84.84 58.01 23.…
- Gestalt 73.30↑1.49 95.85↑0.77 81.65 82.51 68.57 78.12↑0.16 81.20↑4.67 82.23↑…
- 怎么读:Overall 是总分;Text 一列考察图中文字,Gestalt 为 3.80,明显不是强项 —— 看总分时别忽略分项。
- 官方描述:短、长指令两类设置下均领先,长提示引入更多相互依赖的要求时优势更大。四组指标各分短/长两列。
- 模型 Overall Basic Advanced Designer
- Short Long Short Long Short Long Short Long
- PixArt-Sigma 62.00 58.12 70.66 75.25 57.65 49.50 62.11 52.41
- FLUX.1 Pro 67.32 69.89 79.08 78.91 61.10 65.37 71.80 68.80
- MidJourney V7 68.74 65.69 77.41 76.00 64.66 60.53 68.83 63.61
- SD 3.5 Large 71.15 66.96 78.34 79.56 67.67 61.18 64.43 66.39
- Emu3 43.38 39.44 49.88 42.08 37.09 33.52 53.73 60.45
- MMaDA 52.32 52.90 65.78 66.71 50.32 50.76 60.45 55.60
- Show-o2 67.38 68.76 81.16 84.06 69.25 72.99 75.37 75.75
- Janus-Pro 66.50 65.02 79.33 78.25 59.71 58.82 65.84 60.25
- BAGEL 71.50 71.70 81.79 80.05 70.24 72.19 68.28 67.91
- Lumina-DiMOO 71.27 68.53 75.50 78.29 70.49 68.33 69.78 70.90
- Gestalt 74.57↑3.07 78.86↑7.16 83.79↑2.00 86.06↑2.00 72.60↑2.11 77.69↑4.70 84…
- 怎么读:论文正文把 74.57 / 78.86 写作 TIIF-Bench 的短/长设置成绩;长指令上的领先幅度普遍更大。
- 官方描述:视觉为中心的任务上增益更明显,反映在统一模型里保留模态特有信息的价值。
- 模型 MME-P GQA MMStar-P POPE RWQA MMVP CVB2d CVB3d
- 自回归基座(AR-Based)
- BAGEL 1687.0† 66.4 70.9 88.2 67.6 69.3† 77.7 84.2
- 扩散基座(Diffusion-based)
- MMaDA 1410.7† 61.3† 43.0 86.1† 48.2 17.3 55.3 54.8
- Lumina-DiMOO 1534.2† 43.3 – 87.4† 35.9 34.0 54.3 52.0
- LaViDA-o 1431.0 54.1 55.9 – 56.6 47.3 73.4 70.8
- LLaDA-o 1412.0† 58.0 55.6 87.2 66.4 46.7 78.0 75.9
- Omni-diffusion 1216.7† – – 76.6† – – – –
- Gestalt 1600.2↑66.0 60.2 60.8 86.5 59.1 48.7↑1.4 78.9↑0.9 86.1↑10.2
- 怎么读:MME-P 一项 BAGEL 的 1687.0 高于 Gestalt 的 1600.2;Gestalt 的优势集中在 CV-Bench 两条视觉…
- 官方描述:在参评的扩散式统一模型中整体领先,语言表现与 Janus-Pro 等自回归模型相当。
- 模型 MMLU TruthfulQA WinoGrande HellaSwag ARC-E ARC-C
- Show-o2 71.70 46.94 74.03 76.67 84.43 58.53
- Janus-Pro 49.90 41.72 67.17 68.41 65.74 40.70
- BAGEL 28.02 40.51 50.75 28.59 27.53 23.63
- MMaDA 40.14 43.81 54.85 45.81 46.72 28.67
- Lumina-DiMOO 29.75 43.34 51.62 39.11 44.44 26.45
- LLaDA-o 25.25 52.30 51.22 30.72 36.66 24.66
- Gestalt 49.50↑9.36 47.55 60.62↑5.77 53.44↑7.63 62.29↑15.57 43.69↑15.02
- 怎么读:这里的「领先」限定在扩散式统一模型这一组;与 Show-o2 的 MMLU 71.70 相比仍有差距。
- 官方描述:视觉特有表现与协同类指标相配,在参评的扩散式模型中取得领先的协同结果。
- 模型 MIB-V(视觉特有) CoreCog-SM(协同) MM-IMDb(协同) SRBench(协同)
- BAGEL 65.96 65.00 60.60 51.89
- MMaDA 44.23 43.20 30.39 36.72
- Lumina-DiMOO 56.43 42.20 31.22 45.50
- LLaDA-o 60.31 53.30 39.64 50.89
- LaViDa-O 58.07 50.60 51.54 40.89
- Gestalt 59.89 55.20↑1.90 67.07↑15.53 53.17↑2.28
- 怎么读:MIB-V 一项 LLaDA-o 的 60.31 略高于 Gestalt 的 59.89;这一组表格要看的是协同三项的跃升幅度。
- 以下数字照录官方项目主页的评测表格,本站仅做中文表头整理与分组排版,未复现、未重算。带 † 与 – 的记号沿用原表,含义以原页为准;↑ 后的数字为原表标…
- 结论要带范围。 官方自己的措辞是「在参评模型中」「在参评的扩散式统一模型中」,本站不写成「全面超越」。
- 分项比总分诚实。 MME-P 一项 BAGEL 高于 Gestalt,UniGenBench 的 Text 分项 Gestalt 只有 3.80,视觉特…
- 评测来源单一。 这些表格由论文作者与官方项目页给出,本站未做第三方复现;不同论文、不同版本的同一基准可能给出不同分数。
- 论文自己没给的: 参数量、训练算力、单次推理成本与耗时,在这五张表里都查不到,本站不补推测值。
- 数据来源: 官方项目主页 的 Image Generation / Multimodal Understanding / Language / Mult…
上手与资源(36 条)
- 从下载权重到跑一次推理
- 以下命令逐条摘自官方仓库 README,本站只补了中文说明。执行前请先到仓库确认最新版本;本站不托管代码、权重,也不提供模型调用服务。
- 1 · 准备环境
- git clone https://github.com/GeWu-Lab/Gestalt.git cd Gestalt pip install -r …
- 说明:把仓库取到本地,进入目录,安装依赖清单里的包。
- 2 · 下载模型权重
- huggingface-cli download GeWu-Lab/Gestalt --local-dir /path/to/checkpoint
- 说明:把 /path/to/checkpoint 换成你自己机器上的实际目录。官方要求该目录里包含 tokenizer.json ,训练时会直接从这里读…
- 3 · 推理:看懂一张图
- python scripts/inference/run_mmu.py \ --model /path/to/checkpoint \ --image-…
- 说明:输入是图像 token 加一个问题,输出是文字答案。 token-h 与 token-w 指图像被切成的 token 网格高宽。
- 4 · 推理:按文字生成图
- python scripts/inference/run_t2i.py \ --model /path/to/checkpoint \ --prompt…
- 说明:输出的是 VQ-VAE 离散 token,不是图片文件本身。README 特别提示:文生图默认使用空的 system prompt,与训练模板一致…
- 5 · 训练(第三阶段指令微调)
- DATA_DIR=/path/to/parquet \ PRETRAINED=/path/to/checkpoint \ NPROC_PER_NODE=…
- 说明:训练数据是一批 Parquet 文件,统一涵盖图生文/多模态理解、文生图、图生图三类任务。默认配置为 configs/training/gesta…
- 6 · 数据格式
- 官方 README 用一张表说明训练文件里每行需要哪些字段。下表按原表整理,「—」表示该任务用不到:
- 字段 图生文 / 理解 文生图 图生图
- task_type i2t t2i i2i
- metadata_json 字符串 字符串 字符串
- conversations 字符串 / 轮次列表 — —
- img_tokens VQ-VAE 原始 ID — —
- system_prompt 可选 字符串 字符串
- user_prompt — 字符串 字符串
- input_image_tokens — — VQ-VAE 原始 ID
- answer_image_tokens — VQ-VAE 原始 ID VQ-VAE 原始 ID
- 字段名照录官方 README,改动会导致训练脚本读不到数据。SFT 数据官方标注「coming soon」,截至 2026-11-20 尚未放出。
- 7 · 引用格式
- 官方 README 给出的引用条目:
- @article{gestalt2026, title = {Gestalt: Large Multimodal Interplay Model}, a…
- 模型概览:机构、作者、发布节奏与四个官方入口
- 方法与架构:为什么这样分区、这样排课程
- 一手来源索引:所有官方链接与核对状态
- 本页命令与字段逐条摘自 官方仓库 README ,中文说明由本站补写;最后核对 2026-11-20。
同名辨析(18 条)
- 四个 Gestalt,别认错人
- 中文信息里最容易出的一次错,是把人大高瓴那个开源多模态论文,当成另一个匿名设计模型的「出处」。两者只是同名,方向、时间、可核对程度都不一样。本站主体是第…
- # 叫什么 是什么 时间 可核对程度
- ① Gestalt: Large Multimodal Interplay Model 本站主体。人大高瓴 GeWu-Lab 等的开源统一多模态大模型,…
- ② Gestalt(stealth,匿名设计模型) Contra Labs × BenchFlow「Frontier Design Benchmark」…
- ③ Gestalt / 格式塔心理学 20 世纪初德国心理学学派,「整体大于部分之和」,接近性、相似性、闭合性等知觉组织原则 20 世纪初 公共知识;是…
- ④ 其他同名 iOS 上的 MobileGestalt 编辑器 GestaltX、同名公路车、格式塔疗法培训等 各自不同 搜索噪声,与模型无关
- 为什么特别容易混
- 名字完全一样,中文圈常把「Gestalt」不加限定地混用。
- ① 是 9 月底就开源、有论文有代码有重量的学术项目,检索时很容易先撞上;② 是 11 月的榜单事件,讨论量大、情绪强。
- 把论文截图里圈出 "Gestalt" 就宣布认领成功,是最常见的误读形式。但 ① 主打图像生成与多模态理解,② 考的是完整网站交付,任务集都不是一回事。
- 截至 2026-11-20,没有任何一方公开确认 ① 与 ② 存在关联。 本站不参与指认、不做身份猜测,只把可核对的差异摆出来。
- 2026-11-20 补记:榜单快照与误读
- Contra Labs 发布稿写 1928 Elo / 89% 胜率(423 票) ,实时榜后来显示 1931 Elo / 90% 胜率(420 票) …
- 11 月 19–20 日中文自媒体出现断言式认领文章,把 ② 指认为人大高瓴 GeWu-Lab 等团队;同时也有第三方调研明确拆解为「两个 Gestal…
- 这些动态的逐条出处与核对状态,见 上游变更日志 的「最新消息」表。
- 有论文、有 8B 基座、有 32 个交互 token、有五张评测表的,是本站这个;只有 Elo 和一堆猜测的,是另一个。名字相同,不是同一个东西。
- 来源: arXiv:2610.00576 、 官方项目主页 、 Contra Labs 榜单(仅作辨析) 。最后核对 2026-11-20。
一手来源(22 条)
- 所有结论,都能点回原处
- 本站只把官方页面、论文与仓库当作事实来源;中文资讯稿只用于了解误读,不作为事实依据。下面每条链接都给完整地址,点开或复制即用。
- 来源 完整地址 本站用途 核对状态 核对日期
- 官方项目主页 https://gewu-lab.github.io/Gestalt/ 项目定位、架构、训练数据、全部评测表格 已核对 2026-11-2…
- 论文摘要页 https://arxiv.org/abs/2610.00576 标题、作者、摘要、版本日期、页数、DOI 已核对 2026-11-20
- 论文全文(HTML) https://arxiv.org/html/2610.00576v2 基座、32 个交互 token、前 4 层 Zone I、…
- 代码仓库 https://github.com/GeWu-Lab/Gestalt 快速上手、推理命令、数据格式、引用、许可证、更新动态 已核对 2026…
- 模型权重 https://huggingface.co/GeWu-Lab/Gestalt 权重下载(官方项目页与 README 均指向此处) 本机网络未…
- 在线 Demo https://huggingface.co/spaces/hugging-apps/gestalt 官方项目页 Demo 入口 本机网…
- 论文 DOI https://doi.org/10.48550/arXiv.2610.00576 arXiv 签发的 DOI 已核对(由 arXiv 页…
- 同名匿名设计模型榜单 https://contralabs.com/frontierdesign/leaderboard 仅用于同名辨析,与本站主体无关…
- 链接文字即完整 https:// 地址,复制后可直接粘贴使用。「本机网络未核实」是如实记录建站时的网络情况,不代表链接失效。
- 仓库 GeWu-Lab/Gestalt
- 创建 / 最后推送 2026-09-29 / 2026-10-10
- star / fork / 未关闭 issue 28 / 3 / 2
- license 字段 空(与 README 的待确认标记一致,见 上手与资源 )
- 这是 2026-11-20 从 GitHub API 取的一次快照,只作留痕,会变;本站首页与各正文页不写这些动态数字。
- 论文 arXiv 页面标注 CC BY 4.0 ;本站只做摘要与要点转述,不整段搬运论文正文。
- 仓库 README 声明 Apache 2.0,但自带待确认标记且缺 LICENSE 文件;本站按「待核实」处理。
- 官方项目主页的评测表格,本站以「照录数字 + 中文表头 + 分组排版」方式整理,并逐页标注来源,不复制官方示意图与示例作品图。
- 站内所有几何图示、三角形标识均为本站自绘,不使用任何官方标识;色值取自官方既有三色,仅作语义呼应。
- 本页由 2026-11-20 的构建快照生成。链接若失效,本站会标注「源站暂不可访问」并指向官方主页,不静默留空。
关于本站(17 条)
- 非官方,但有出处
- gestaltx.org 是一个中文第三方资料站,整理 Gestalt: Large Multimodal Interplay Model 的公开资料。…
- 只写能追到一手来源的。 论文、官方项目主页、代码仓库 README、arXiv 元数据、GitHub API;中文资讯稿只用作了解误读,不作事实依据。
- 把「已核实」和「待核实」分开。 首页固定双栏;许可证、SFT 数据、权重与 Demo 的当前可访问性都在右栏,不混进结论。
- 数字带时间戳,不写死在正文里。 动态数据放在构建快照里,构建时注入;每页底部标「最后核对 2026-11-20」。官方两处说法不一致时并列展示,不替官方…
- 改错留痕。 发现错误直接修订并在页面标注,不悄悄改、不把旧结论伪装成一直如此。
- 等级 含义 出现位置
- 已核实 能点回官方页面、论文或仓库原文,且已人工比对 首页左栏、模型档案、方法、评测表
- 待核实 官方自己留了待确认标记,或本机网络未能核对,或官方没给 首页右栏、上手页提示、来源索引状态列
- 社区说法 无官方确认的猜测与身份认领帖 只在同名辨析页作为现象提及,不进入任何结论
- 站点标识是自建的「交汇三角」:两半拼出中心三角,呼应「整体大于部分之和」,也呼应论文里视觉与语言合起来才出现的新信息。色值取官方既有的三色 —— 蓝 #…
- 全站纯静态 HTML,主体内容直接写在页面源码里,禁用脚本也能看全所有正文、表格、时间线与免责声明。本站当前版本不加载任何脚本。
- 页面、表格、来源索引由本地构建脚本生成,数据来自独立的快照文件;构建与核对都在本地完成,线上只放最新静态产物。
- 无常驻浮层、无遮挡式提示条;「非官方」声明放页头一行内,不占内容区。
- 所有外链给出完整 https:// 地址;可点击元素在静止态就有主色与下划线/虚线底边/箭头,不靠鼠标悬停才看得出来。
- 本站内容是对公开资料的非官方整理,可能滞后或有疏漏,不构成使用建议、授权结论或性能承诺。模型、代码、权重与在线 Demo 请以官方页面当前状态为准;涉及…
- 本站最后核对 2026-11-20。相关页面: 一手来源索引 · 同名辨析 · 返回首页 。
数据与训练(100 条)
- 数据怎么造,参数怎么设
- 这一页把论文附录 6、3.1 节与仓库配置文件里能核对的数字全部摊开:78M 图文对怎么来、13.7M 指令样本怎么分四类、Stage-III 的每一个…
- 一、三阶段:数据、目标、来源
- 阶段 数据量 训练目标 数据来源 参数
- 多模态预训练 70M 图文对 联合掩码预测:视觉与文本独立掩码、联合重建 LLaVA-OneVision-1.5 全参数可训练
- 条件持续预训练 8M 图文对 条件掩码预测:留一个模态可见,预测另一个 论文 3.1 节未单列 全参数可训练
- 指令微调(Stage-III) 13.7M 指令样本<br>另含约 2.5M 文生图样本 条件掩码预测 + 四类交互数据 + 三阶段课程 LLaVA-O…
- 前两阶段合称 78M 对齐图文对。官方项目主页把末阶段写作 13.7M (+≈2.5M T2I),论文正文 3.1 节写 2.5M、附录 6.3 写 2…
- 二、13.7M 指令数据的四类构成
- SFT 阶段按多模态交互金字塔把样本归入 冗余 R、文本特有 Ut、视觉特有 Uv、协同 S 四类。汇总口径:2.8M 冗余、4.2M 文本特有、4.0…
- 附录 6.2 把 13.7M 指令样本按主导交互类型组织。R=冗余、Uv=视觉特有、Ut=文本特有、S=协同。样本数与占比照录 Table 7。
- 主任务 / 子能力 样本数 占比 主要交互类型
- 多模态理解(MMU)· 合计 9.743M
- 图像描述与场景理解 3.086M 31.7% R, Uv
- 知识密集型视觉理解 2.105M 21.6% Ut, S
- 通用 VQA 与指令遵循 1.630M 16.7% Uv, S
- 物体、属性、状态与计数 1.558M 16.0% Uv
- 场景文字与 OCR 0.437M 4.5% Uv
- 视觉定位与空间理解 0.366M 3.8% Uv, S
- 幻觉抑制与难负样本 0.324M 3.3% Uv
- 关系与组合推理 0.236M 2.4% S
- 纯文本 · 合计 3.957M
- 文本理解与知识 3.957M 100.0% Ut
- 指令数据总量 13.700M – R, Uv, Ut, S
- 怎么读:四类交互的汇总口径:2.8M 冗余、4.0M 视觉特有、4.2M 文本特有、2.7M 协同,合计 13.7M(论文 2.2 节与附录 6.2 一…
- 三、数据是怎么清洗和归类的
- 预训练筛选 :从 LLaVA-OneVision-1.5-Midtraining 选高质量图文对,用 Qwen3-VL-32B-Instruct 校验图…
- SFT 多轮质控 :VQ-VAE 把图像压成离散 token 时会丢细节,原本可答的样本可能变得不可答。因此先做规则过滤,再用 Qwen3-VL-32B…
- 交互类型不逐条标注 :在子任务层做。每个子数据集随机抽 100 条,结合任务启发式与模型辅助校验,判断两模态是否提供重叠证据、预测主要依赖哪一侧、还是必…
- 图像生成数据单独处理 :另收 2.46M 条文生图样本,不决定课程,而是大致均匀分布到三个阶段。
- 三阶段课程里四类数据 全程都在 ,只调采样比例:先巩固跨模态对齐与语言能力,再强化视觉特有能力,最后推向更深的协同。论文的对照实验见 分析实验 里的 T…
- 四、Stage-III 训练配置全参数
- 下面每一条都照录仓库 configs/training/gestalt_stage_3.yaml 、 scripts/training/gestalt_…
- max_length 8192 最大序列长度
- token_budget 8192 token 预算
- base_vocab_size 126464 原语言词表大小
- vqvae_codebook_size 16384 视觉码本大小(IBQ)
- extended_vocab_size 142848 扩展后词表 = 126464 + 16384
- inter_layer_state interaction_token 交互层状态类型
- inter_layer_num 4 Zone I 层数,与论文「前 4 层」一致
- answer_mask_schedule linear 答案掩码调度;可选 cosine / linear / uniform
- image_mask_schedule linear 图像掩码调度
- image_loss_weight 0.1 图像损失权重
- loss_weight_mode token sample 按段归一;token 用 1/sqrt(L)/mask_ratio
- learning_rate 1e-5 学习率
- lr_scheduler_type constant 常数调度
- warmup_steps 200 预热步数
- adam_beta1 0.9 AdamW β1
- adam_beta2 0.95 AdamW β2
- adam_epsilon 1.0e-8 AdamW ε
- weight_decay 0.1 权重衰减
- max_steps 40000 Stage-III 最大训练步数
- gradient_accumulation_steps 4 梯度累积
- bf16 true BF16 混合精度
- gradient_checkpointing true 梯度检查点
- save_steps 1000 保存间隔
- save_total_limit 150 最多保留 checkpoint 数
- logging_steps 10 日志间隔
- dataloader_num_workers 0 数据加载进程
- remove_unused_columns false 保留未使用列
- 启动脚本默认值(scripts/training/gestalt_sft.sh)
- NNODES 1 节点数
- NPROC_PER_NODE 1 单节点进程数;单卡时不设置
- NODE_RANK / MASTER_ADDR / MASTER_PORT 0 / 127.0.0.1 / 29500 分布式默认值
- OUTPUT_DIR outputs/stage3 输出目录
- CONFIG configs/training/gestalt_stage_3.yaml 默认配置
- DEEPSPEED configs/deepspeed/zero_stage2.json 设 DEEPSPEED=none 可关闭
- Parquet 文件数 ≥ 分布式进程数 README 明确的硬约束
- DeepSpeed(configs/deepspeed/zero_stage2.json)
- zero_optimization.stage 2 ZeRO-2
- allgather_bucket_size / reduce_bucket_size 1e8 / 1e8 通信桶大小
- overlap_comm / reduce_scatter true / true 通信重叠与归约
- optimizer.type AdamW 优化器,参数由训练配置自动注入
- fp16 / bf16 auto / auto 精度由启动参数决定
- steps_per_print 2000 日志打印间隔
- 五、统一掩码扩散目标
- 论文公式 (1):对多模态序列 x = [x v , x t ] 随机掩码一组位置并重建 —— 掩码位置的 token 负对数似然求和取期望,条件为「序…
- 联合掩码预测 (预训练):视觉与文本各自独立掩码、联合重建,同时学模态内结构与双向跨模态依赖。
- 条件掩码预测 (CPT 与 SFT):留一个模态可见、掩码另一个,是联合建模与下游条件生成之间的桥梁。
- 六、依赖与启动约束
- requirements.txt(13 项)
- torch 2.10.0
- transformers 5.2.0
- deepspeed 0.18.5
- accelerate 1.12.0
- safetensors 0.7.0
- tokenizers 0.22.2
- flash-attn 未钉版本
- numpy 1.26.4
- pyarrow 23.0.0
- pyyaml 6.0.3
- einops 0.8.2
- pillow 10.4.0
- tqdm 4.67.3
- flash-attn 未钉版本。torch 2.10.0 / transformers 5.2.0 / deepspeed 0.18.5 是官方清单里钉…
- checkpoint 目录必须包含 tokenizer.json ,训练直接从此读取分词器。
- Parquet 文件数不能少于分布式进程数;单机单卡时不设 NPROC_PER_NODE 。
- 文生图推理默认空 system prompt,与训练模板一致;若训练数据用了固定非空系统提示词,推理要传 --system-prompt 同一段文字。
- 完整的仓库文件树见 仓库结构 ,可直接复制的命令见 上手与资源 。
- 来源: 论文全文 v2 (2.2 / 3.1 / 附录 6)、 官方仓库 的 README、训练配置、启动脚本与 requirements.txt。数字…
分析实验(52 条)
- 除了跑分,论文还验证了什么
- 论文的评测顺序是刻意排的:先看统一能力,再往下看表征几何与语言结构是否被保住,最后看跨模态交互怎么发生。这一页收齐主评测表之外的四张补充表、三项分析与定…
- 一、表征空间:建了新空间,但保住了语言几何
- 3.3 节在 第 24 层 、用 DOCCI 图文对可视化隐藏表征:Lumina-DiMOO 的视觉与文本明显分离;Qwen3.8 有部分重叠,但仍有大…
- 以预训练 LLaDA 为参照,衡量两种多模态适配范式对语言嵌入空间的改动。Norm / Distance 看分布偏移,Cosine Sim. / CKA…
- 模型 适配范式 Norm Mean Norm Std Mean Distance Cosine Sim. CKA
- 基座(Base)
- LLaDA 参照 7.82 1.11 – – –
- 投影对齐(Projector Alignment)
- LLaDA-V 投影对齐 7.82 1.11 0.043 0.99998 0.99997
- LaViDa 投影对齐 7.83 1.11 0.160 0.99976 0.99964
- LLaDA-O 投影对齐 8.02 1.16 1.520 0.98136 0.97424
- 统一 token 空间(Unified Token Space)
- Lumina-DiMOO 统一离散空间 0.85 0.49 7.426 0.58795 0.43894
- Gestalt 统一离散空间 5.29 0.76 2.590 0.99677 0.99494
- 怎么读:统一 token 空间的模型改动更大,但 Gestalt 的 Cosine 0.99677 与 CKA 0.99494 远高于 Lumina-D…
- 二、交互 token 会不会按信息需求变形
- 3.4 节在 第 16 层 可视化 MIBench 上交互 token 的隐藏表征。MIBench 按预测所需信息把样本分成视觉特有、文本特有、跨模态协…
- 与之呼应的结果在 评测数据 的 Table 6:协同三项(CoreCog-SM 55.20、MM-IMDb 67.07、SRBench 53.17)都是…
- 三、三阶段课程的对照实验
- 附录 7.1 从同一 CPT checkpoint 出发、只用 10% SFT 数据,比较「全程均匀混合」与「按交互类型排课程」。这张表值得慢慢读,因为…
- 从同一 CPT checkpoint 出发、只用 10% SFT 数据,比较「全程均匀混合」与「按交互类型排课程」。U=Uniform,C=Curric…
- 指标 阶段 1 阶段 2 阶段 3
- U C Diff. U C Diff. U C Diff.
- MMStar-P 49.52 45.08 -4.44 49.42 49.72 +0.30 51.67 53.87 +2.20
- MME-P 917.1 1030.9 +113.8 1135.8 1178.5 +42.7 1249.5 1211.6 -37.9
- MMVP 26.67 28.00 +1.33 32.67 26.00 -6.67 29.33 31.33 +2.00
- CVBench-2D 68.64 68.08 -0.56 73.02 72.11 -0.90 73.99 74.62 +0.63
- 怎么读:这张表最容易被误读成「课程更好」。实际结论是能力的出现顺序被改变了:早期偏冗余与文本,宽泛感知(MME-P +113.8)上来得快,细粒度感知反…
- 四、遥感领域迁移
- 附录 7.2 只往训练混合里加 5 万条 FIT 遥感 VQA 样本,考察模型吸收新视觉域知识的效率。
- 只向训练混合里加入 5 万条 FIT 遥感 VQA 样本,考察模型吸收新视觉域知识的效率。FGRS 考细粒度识别,FGRC 考物体与区域间的关系推理。
- 模型 遥感微调样本 FGRS FGRC
- BAGEL – 42.51 36.65
- GeoChat – 53.47 21.90
- SkySenseGPT 1.415M 79.76 55.50
- Lumina-DiMOO * 50K 77.77 –
- Gestalt 50K 79.34 38.20
- 怎么读:用 5 万条样本得到 FGRS 79.34,逼近用 141.5 万条训练的专业模型 SkySenseGPT 的 79.76;同数据量下也高于 L…
- 五、细粒度生成的定性观察
- 附录 7.3 与 Figure 7 讨论 UniGenBench 上的生成结果,重点是多物体组合、属性绑定、空间关系与整体风格一致性。论文举的具体例子包…
- 风格覆盖水彩、梵高式油画、印象派、超现实数字艺术、产品摄影、电影感风景与日式动漫。作者的判断是:风格约束影响的是整幅画面的光照、色调、笔触、透视与氛围,…
- 六、讨论:作者认为这意味着什么
- 统一未必要求从最底层就共享全部计算。先做模态特有处理、受控交换、再完全整合,可能更好地平衡专长与协同。
- 论文把这一点和混合模态 scaling law 研究联系起来:既然已有研究把「多模态协同」当作关键组分,规模效应或许不只取决于模型与数据量,也取决于跨阶…
- 七、官方没给的,本站不补
- Gestalt 自身的参数量(只给了基座 LLaDA-8B-Instruct)。
- Zone II 的具体层数(Figure 2 只写 N₁ / N₂,正文明确的是前 4 层为 Zone I)。
- 训练算力、GPU 型号与总耗时;单次推理成本与耗时。
- 32 这个交互 token 数量的选取依据或消融。
- SFT 数据的公开下载地址(README 写 coming soon)。
- 来源: 论文全文 v2 (3.3 / 3.4 / 5 / 附录 7)、 官方项目主页 。补充表 A–D 的数字分别照录论文 Table 4 / 7 / …
内容全集(46 条)
- 这个模型,本站覆盖到哪一步
- 一张对照表看清:内容域 → 文档章节 → 站点页面。全部页面都在这份索引里,sitemap 也全量收录;全站统一左右两栏,左栏顶部的全文搜索每页常驻,主…
- 全站页面(19 页)
- 首页 模型档案、金字塔示意、已核实 / 待核实双栏、关键数字、时间线
- 模型概览 全称、机构、11 位作者与分工、名字来源、四个官方入口、发布节奏
- 方法与架构 金字塔三层、Zone I / Zone II、32 个交互 token、离散扩散、三阶段课程
- 数据与训练 三阶段数据、13.7M 四类构成、清洗流程、Stage-III 全参数、依赖与约束
- 评测数据 论文 Table 1 / 2 / 3 / 5 / 6 五张主评测表全量数字与读法
- 分析实验 Table 4 / 8 / 9 三张补充表、表征可视化、交互 token 分析、定性与讨论
- 上手与资源 环境、权重、两类推理、训练、数据格式、引用、许可证提示
- 论文精读 v2 逐章要点、九张表位置对照、48 条参考文献题录
- 仓库结构 官方仓库主要文件、三类任务与脚本映射、模型实现模块、元数据
- 术语与词典 26 条核心术语、20 个基准、14 组参评模型、作者与机构编号
- 常见问题 15 个高频问题与「不推测」的回答口径
- 内容全集索引 全站页面清单、覆盖对照、覆盖边界与官方未给项
- 同名辨析 四个同名对象对照与常见误认的成因
- 一手来源 全部官方链接、用途、核对状态与版权口径
- 关于本站 非官方声明、编辑原则、置信度分级、标识与免责
- 中文图解 8 张自绘中文示意图:金字塔、两个 Zone、四类交互、数据构成、三阶段课程、主评测、表征保留、课程消融
- 全站搜索 全站条目静态索引,可按关键词本地过滤;不联网、不记录输入
- 完整文档 《Gestalt 内容全集》25 章单页长文,与站点同源同数,附原文下载
- 上游变更日志 上游一手来源的自动快照比对、当前指标、变化记录与未核实项
- 内容域 → 文档 → 站点 对照
- 内容域 《Gestalt 内容全集》章节 站点页面
- 身份与来源 模型概览 · 一手来源 首页、模型概览、一手来源、关于本站
- 论文逐章与形式化目标 论文精读 论文精读
- 金字塔 / Zone I-II / 交互 token 方法与架构 首页、方法与架构
- 训练数据、四类交互、清洗流程 数据与训练 数据与训练
- 训练配置全参数、依赖、启动脚本 数据与训练 数据与训练、上手与资源、仓库结构
- 主结果五张表 评测数据 评测数据
- 表征 / 课程 / 遥感 / 定性 分析实验 分析实验
- 评测基准与参评模型 术语与词典 术语与词典
- 代码仓库结构与文件清单 上手与资源 仓库结构、上手与资源
- 快速上手、数据格式、引用 上手与资源 上手与资源
- 术语、常见问题、作者分工 术语与词典 / 常见问题 术语与词典、常见问题、模型概览
- 同名辨析、时间线、许可证缺口 附录 同名辨析、关于本站、内容全集
- 上游资料的覆盖边界
- 已全量收录 :论文 v2 的 1–5 节与附录 6、7 的全部要点;9 张表的所有数字;48 条参考文献题录;官方项目主页四节评测表;仓库 README…
- 只转述不搬运 :论文正文段落、官方示例生成图、官方示意图、机构标识、微信群二维码。站内图形均自绘并标注依据。
- 不覆盖 :模型权重文件内容、SFT 数据集本体、在线 Demo 的实际输出、第三方复现结果、社区身份猜测。这些要么官方未放出,要么与「事实台账」定位无关…
- 官方没给的空格子(不补推测值)
- Gestalt 自身参数量、训练算力与耗时、单次推理成本与耗时。
- Zone II 具体层数;32 个交互 token 的选取依据与消融。
- SFT 数据下载地址(coming soon);权重与 Demo 的当前可访问性和下载量(本机网络未核实)。
- 许可证最终结论(README 自带 TODO 待确认标记,仓库无 LICENSE 文件)。
- 本页由构建脚本依据内容快照自动生成,页面清单随站点同步;最后核对 2026-11-20。相关: 一手来源索引 · 编辑原则 。
论文精读(77 条)
- arXiv:2610.00576 逐章拆解
- 论文 v2 共 17 页、7 图、9 张表、48 条参考文献,arXiv 页标注 CC BY 4.0。下面按章节顺序把每一节讲了什么、给了哪些数字写清楚…
- 标题 Gestalt: Large Multimodal Interplay Model
- arXiv https://arxiv.org/abs/2610.00576
- 全文 https://arxiv.org/html/2610.00576v2
- DOI https://doi.org/10.48550/arXiv.2610.00576
- 版本 v1 2026-09-30 · v2 2026-10-08
- 许可 arXiv 页面标注 CC BY 4.0
- 章节 1 引言 / 2 方法(2.1–2.3)/ 3 实验(3.1–3.4)/ 4 相关工作 / 5 讨论 / 附录 6 数据 / 附录 7 补充结果 …
- 论文开宗明义:现有大模型主要忙着「容纳更多模态」,却忽略了每个模态各自的特性和模态之间的关系。受人类多感官知觉的分阶段特性启发,作者提出多模态交互金字塔…
- 梳理两条既有路线:架构兼容(LLaVA、Qwen2.5-VL:视觉编码器接到预训练语言模型)与数据兼容(Kimi K3、Qwen 3.8:混合模态语料联…
- 核心判断:把模态凑齐不等于处理好了模态之间的关系,more is different。
- 借人类多感官知觉的多阶段特性,提出多模态交互金字塔:底层保住模态特有信息 → 中层对齐跨模态冗余 → 顶层整合出协同信息。
- Figure 1b 的例子:文本给出「大狗红项圈、小狗蓝项圈」的大小—颜色关系,图像给出可见的项圈颜色,共同的金毛与草地建立对应,两者合起来才能认出较小…
- 引言里提前给出主要结果:UniGenBench 73.30、TIIF-Bench 短/长 74.57 / 78.86、CV-Bench 两条 78.9 …
- 离散多模态表示:固定 VQ-VAE 编码器把图像变成 16,384 项码本的离散 token,与文本 token 排进同一序列;底层掩码扩散语言模型用双…
- 交互 token:专门的可学习 token 作为视觉流与文本流的共享接口,职能从 Zone I 的中介交换扩展到 Zone II 的完全整合。
- Zone I 瓶颈交互:视觉与文本走各自 FFN,受限注意力禁止两者直连,跨模态信息只能经由交互 token 交换,避免共享计算冲淡模态特有表征。
- Zone II 全模态交互:解除限制,全模态自注意力 + 共享 FFN,图像/文本/交互 token 互相直接可见,交互 token 继续聚合任务相关信…
- 两者合起来构成 preserve-then-integrate 路径。Figure 2 把 Zone I / Zone II 写成 N1 / N2 层,…
- 预训练与持续预训练共用 78M 对齐图文对,学习基础跨模态对应与多模态知识。
- SFT 按金字塔把每条指令样本归入冗余、文本特有、视觉特有、协同四类。
- 13.7M 语料构成:2.8M 冗余、4.2M 文本特有、4.0M 视觉特有、2.7M 协同。
- 详细的数据清洗、子任务划分与图像生成数据说明放在附录 6。
- 统一掩码扩散目标:对多模态序列随机掩码并重建,L_mask = -E_m Σ_{i∈m} log p_θ(x_i | x_{\m});双向条件化,无固定…
- 联合掩码预测(预训练):视觉与文本 token 独立掩码、联合重建,同时学模态内结构与双向跨模态依赖。
- 条件掩码预测(CPT 与 SFT):保持一个模态可见,掩码另一个并预测;是联合建模与下游条件生成之间的桥梁。
- 三阶段课程:四类数据全程保留,只调采样比例;从巩固跨模态对齐与语言能力 → 强化视觉特有能力 → 推向更深的多模态整合。
- 作者特别说明:基座已预训练,模态特有的底层基础在多模态训练之前就已具备,因此多模态阶段从中层的冗余对齐起步。
- 基座 LLaDA-8B-Instruct;IBQ 把图像编码为离散 token,16,384 视觉码本并入语言词表;交错 MRoPE 保留二维空间位置。
- 32 个交互 token;前 4 层 Transformer 为 Zone I;这 4 层新增的视觉 FFN 由 LLaDA 对应层文本 FFN 初始化…
- 三阶段数据:70M(LLaVA-OneVision-1.5)→ 8M → 13.7M(LLaVA-OneVision-1.5、MAmmoTH-VL、Fi…
- 所有阶段全参数可训练。
- 评测顺序刻意设计成:先统一能力 → 再表征几何与语言保持 → 最后跨模态交互与交互 token 内部信息。
- 3.2.1 细粒度文生图:UniGenBench 73.30 为参评最高,超过生成专用组最高的 OmniGen2 71.39 与统一组最高的 Lumin…
- 3.2.1 复杂指令遵循:TIIF-Bench 短 / 长 Overall 74.57 / 78.86,三类子项(Basic / Advanced / …
- 3.2.2 多模态理解:八个基准分通用 VQA(MME-P、GQA、MMStar-P、POPE、RealworldQA)与视觉中心(MMVP、CV-Be…
- 3.2.2 CV-Bench 2D/3D 的 78.9 / 86.1 也超过自回归统一模型 BAGEL 的 77.7 / 84.2。
- Table 3 的 † 表示数字来自原论文,其余用官方 checkpoint 与推理脚本实测;论文照录了这一差异。
- 在第 24 层、用 DOCCI 图文对可视化:Lumina-DiMOO 两模态明显分离,Qwen3.8-9B-Distill 部分重叠但仍有大量文本 t…
- Qwen3.8 无官方 9B checkpoint,论文改用蒸馏版 Qwen3.8-9B-Distill 作对照,并在脚注给出地址 —— 这是论文自己写…
- Table 4:Gestalt 的 Cosine 0.99677 / CKA 0.99494,Lumina-DiMOO 为 0.58795 / 0.43…
- 纯文本评测设置:MMLU、WinoGrande、TruthfulQA 用 5-shot,HellaSwag、ARC-Easy、ARC-Challenge…
- Table 5:六个文本基准中五项领先扩散式统一模型,ARC-E / ARC-C 提升最大;与 AR 模型比,六项全胜 BAGEL,MMLU 接近 Ja…
- 用 MIBench-Visual(MIB-V)与 CoreCognition Sensorimotor(CoreCog-SM)看视觉特有/基础能力,用 …
- Table 6:Gestalt 在 CoreCog-SM 55.20、MM-IMDb 67.07、SRBench 53.17 三项为扩散式模型最好;MI…
- 在第 16 层可视化 MIBench 上交互 token 的隐藏表征:视觉主导与文本主导样本占据大体分离的区域,协同样本形成第三种分布并部分 bridg…
- 论文据此判断:交互 token 会按预测所需的信息类型调整交换方式。
- 从架构兼容(视觉编码器 + projector + AR 语言模型)到原生统一模型(共享模型联合预训练,同时支持理解与生成)。
- 统一模型三条技术路线:自回归 next-token prediction、离散扩散、混合 AR-diffusion / flow-based。
- 论文指出的共同缺口:现有工作聚焦于把视觉与文本数据放进同一个模型,没有显式组织跨模态的信息关系与涌现性质。
- 核心判断:统一未必要求从最底层就共享全部计算;先做模态特有处理、受控交换、再完全整合,可能更好地平衡专长与协同。
- 与混合模态 scaling law 研究里把「多模态协同」视为关键组分相互呼应,作者推测规模效应不只取决于模型与数据量,也取决于跨阶段的信息交换如何组织…
- 论文把交互金字塔定位为后续研究多模态 scaling law 的一个结构化设置,是提议,不是已验证结论。
- 致谢:北京市自然科学基金 4262050、北京新星计划 202604841277。
- 6.1 数据清洗:预训练从 LLaVA-OneVision-1.5-Midtraining 选高质量图文对,用 Qwen3-VL-32B-Instruc…
- 6.1 SFT 多轮质控:因 VQ-VAE 压缩会丢失细节、使原本可答的样本在 token 化后不再可答,先规则过滤,再用 Qwen3-VL-32B-I…
- 6.2 交互标注:不逐条标注,而是在子任务层做 —— 每个子数据集随机抽 100 条,结合任务启发式与模型辅助校验,判定主导信息结构,再按聚合结果给整个…
- 6.2 四类统计:2.8M 冗余、4.0M 视觉特有、4.2M 文本特有、2.7M 协同。
- 6.3 图像生成数据:另收 2.46M 条,不决定课程,而是大致均匀分到三个阶段。
- 7.1 课程对照(Table 8):同一 CPT checkpoint、10% SFT 数据,比较均匀混合与交互课程;结论是能力出现顺序被重塑,不是所有…
- 7.2 遥感迁移(Table 9):仅加 5 万条 FIT 遥感 VQA,FGRS 79.34 逼近用 141.5 万条的 SkySenseGPT 79…
- 7.3 细粒度生成定性(Figure 7):多物体、属性绑定、空间关系、风格一致性;论文举了雪地北极熊与企鹅、金字塔前的骆驼队、塞纳河边的情侣与游轮、不…
- 7.3 风格覆盖:水彩、梵高式油画、印象派、超现实数字艺术、产品摄影、电影感风景、日式动漫;论文强调风格约束影响的是整体光照、色调、笔触、透视与氛围,而…
- 论文表 内容 本站位置
- Table 1 UniGenBench 细粒度文生图 评测数据 · 表一
- Table 2 TIIF-Bench 长短指令 评测数据 · 表二
- Table 3 多模态理解八项基准 评测数据 · 表三
- Table 4 语言表征空间偏移与保留 分析实验 · 补充表 A
- Table 5 六个纯文本基准 评测数据 · 表四
- Table 6 视觉特有与协同能力 评测数据 · 表五
- Table 7 13.7M 指令数据构成 数据与训练 · 补充表 B
- Table 8 三阶段课程对照 分析实验 · 补充表 C
- Table 9 遥感领域迁移 分析实验 · 补充表 D
- 参考文献(48 条,照录题录)
- 题录从论文 HTML 全文的 References 段提取,保留作者、年份、标题与出处,去掉了 LaTeX 转换残留的 Cited by 标记。完整原文…
- 本页依据 arXiv 全文 v2 与 摘要页 整理,中文表述由本站补写,非官方译本;最后核对 2026-11-20。
仓库结构(43 条)
- 官方仓库里都有什么
- 仓库 GeWu-Lab/Gestalt 共 40 余个文件。下面按目录列出主要文件与用途,方便在动手前先知道该看哪一个;本站不镜像代码,也不托管权重。
- README.md 项目说明、News、架构、训练、Quick Start、数据格式、引用、许可证、作者分工
- archive/Gestalt.pdf 论文 PDF 归档
- assets/ 官方标识、金字塔、架构图、评测图、示例图、微信群二维码(本站不搬运)
- configs/training/gestalt_stage_3.yaml Stage-III SFT 全部超参
- configs/deepspeed/zero_stage2.json ZeRO-2 配置
- gestalt/data/datasets.py 数据集定义
- gestalt/data/stage3.py 第三阶段数据加载
- gestalt/model/builder.py 模型构建
- gestalt/model/config.py 配置读取
- gestalt/model/configuration_llada.py LLaDA 配置
- gestalt/model/flex_attention.py 灵活注意力(Zone I 受限交换相关)
- gestalt/model/modeling_gestalt.py Gestalt 主体模型
- gestalt/model/modeling_llada.py LLaDA 基座模型
- gestalt/model/mrope.py 交错 MRoPE 位置编码
- gestalt/model/templates.py 提示词模板
- gestalt/training/trainer.py 训练器
- scripts/training/gestalt_sft.sh Stage-III 启动脚本(torchrun)
- scripts/training/train_stage3.py Stage-III 训练入口
- scripts/inference/run_mmu.py 多模态理解推理
- scripts/inference/run_t2i.py 文生图推理(输出 VQ-VAE token)
- requirements.txt 13 项依赖,含版本
- 三类任务与脚本的对应
- task_type 任务 推理 / 训练入口
- i2t 图生文、多模态理解(MMU) scripts/inference/run_mmu.py
- t2i 文生图 scripts/inference/run_t2i.py(输出 VQ-VAE 离散 token)
- i2i 图生图 Stage-III 统一 Parquet schema,README 未单列推理脚本
- 训练统一走 scripts/training/gestalt_sft.sh → scripts/training/train_stage3.py ,配置…
- 模型实现的关键模块
- modeling_gestalt.py / modeling_llada.py :Gestalt 主体与 LLaDA 基座。
- flex_attention.py :灵活注意力,对应 Zone I 的受限跨模态交换。
- mrope.py :交错 MRoPE,保留图像 token 的二维位置。
- templates.py :提示词模板,与文生图默认空 system prompt 的约定相关。
- configuration_llada.py / config.py / builder.py :配置与模型构建。
- data/stage3.py / data/datasets.py :Stage-III 数据加载。
- 创建 / 最后推送 2026-09-29 / 2026-10-10
- 默认分支 main
- star / fork / 未关闭 issue 28 / 3 / 2
- license 字段 空(见 上手与资源 的许可证提示)
- 归档文件 archive/Gestalt.pdf(论文 PDF)
- 元数据是 2026-11-20 的 GitHub API 快照,会变;本站正文不引用 star 等动态数字作结论。
- 来源: 官方仓库 的 README、文件树(GitHub API)与配置文件;最后核对 2026-11-20。
术语与词典(89 条)
- 读论文时会撞到的名词
- 这一页是查表用的:核心术语、20 个评测基准、14 组参评模型。术语解释由本站依据论文原文归纳,不是官方 glossary;基准与模型的分组照录论文与官…
- 一、核心术语(26 条)
- Multimodal Interplay / 多模态交互 论文核心概念:信息可能只存在于单一模态、被多模态共享、或只在组合后才涌现,这三类关系合称交互。
- Multimodal Interplay Pyramid / 多模态交互金字塔 底层模态特有信息建模 → 中层跨模态冗余对齐 → 顶层多模态协同;同时约…
- Modality-specific / 模态特有信息 只有某一模态才知道的信息,如图像的颜色纹理、文本里的关系描述。
- Redundancy / 冗余信息 两种模态都提到的共有内容,用来建立跨模态对应关系。论文记作 R。
- Synergy / 协同信息 必须把互补线索合起来才能得到、任一单模态都给不出的结论。论文记作 S。
- Uv / Ut 论文记号:视觉特有信息(visual-unique)与文本特有信息(text-unique)。
- Unified Discrete Diffusion / 统一离散扩散 图像与文本共用离散 token 空间与同一个掩码预测目标,双向条件化,没有自回归…
- Masked Diffusion Objective 论文公式 (1):对多模态序列随机掩码一组位置并重建对应 token,取负对数似然;双向条件化,无…
- Joint Masked Prediction / 联合掩码预测 预训练目标:视觉与文本 token 各自独立掩码、联合重建,学模态内结构与双向跨模态依…
- Conditional Masked Prediction / 条件掩码预测 CPT 与 SFT 目标:留一个模态可见,掩码并预测另一个,建立 visi…
- Interplay Token / 交互 token 32 个可学习 token,作为视觉流与文本流的共享接口;Zone I 里中介交换,Zone II…
- Interplay Zone I / 瓶颈交互区 前 4 层 Transformer;视觉与文本各走独立 FFN,跨模态直连注意力受限,只能经交互 to…
- Interplay Zone II / 全模态交互区 Zone I 之后的其余层;全模态自注意力 + 共享 FFN,三类 token 直接互通。
- Preserve-then-integrate 论文对两个 Zone 合起来作用的概括:先保住模态特有表征,再做完全整合。
- IBQ / Index Backpropagation Quantization 图像 tokenizer,固定 VQ-VAE 编码器,码本 16,38…
- VQ-VAE token 图像被压缩成的离散 ID。推理时 run_t2i.py 输出的就是它,不是图片文件。
- MRoPE / interleaved MRoPE 交错多维旋转位置编码,用来在共享序列里保留图像 token 的二维空间位置。
- LLaDA-8B-Instruct 基座模型:掩码扩散语言模型,双向注意力;Gestalt 从这里初始化。
- CPT / Continual Pretraining 持续预训练,8M 图文对,条件掩码预测。
- SFT / Supervised Fine-Tuning 指令微调,13.7M 四类交互样本 + 约 2.5M 文生图样本,三阶段课程。
- Interplay-Oriented Curriculum 三阶段课程:四类数据全程保留,只调采样比例,重心从冗余/文本 → 视觉特有 → 协同。
- CKA Centered Kernel Alignment,衡量两组表征结构的相似度,Table 4 用来衡量语言空间保留程度。
- ZeRO-2 DeepSpeed 的优化器状态与梯度分片策略,仓库默认配置。
- Parquet Stage-III 训练数据的文件格式,统一 schema 覆盖 i2t / t2i / i2i 三类任务。
- MMU Multimodal Understanding,多模态理解;推理脚本 run_mmu.py 对应这一类任务。
- T2I / I2T / I2I 文生图 / 图生文 / 图生图,对应数据格式里的 task_type 三种取值。
- 二、评测基准词典(20 个)
- 基准 类别 / 考察点 说明
- UniGenBench 细粒度文生图 属性、动作、空间关系、组合、逻辑推理等 11 个分项;官方表为 English Long 设置。
- TIIF-Bench 复杂指令遵循的文生图 短 / 长两种提示,Overall、Basic、Advanced、Designer 四组指标。
- MME-P 多模态理解(感知) MME 的感知分项,分数为千量级;Table 3 中 BAGEL 1687.0 高于 Gestalt 1600.2。
- GQA 真实场景视觉推理与组合式问答 Table 3 的通用 VQA 组。
- MMStar-P 多模态感知 MMStar 的 Perception 分项;课程消融表也用它做细粒度感知指标。
- POPE 物体幻觉 判断模型是否幻觉出不存在的物体。
- RWQA / RealworldQA 真实世界场景问答 Table 3 的通用 VQA 组。
- MMVP 视觉中心感知 专门暴露多模态大模型视觉短板的基准。
- CV-Bench 2D / 3D 视觉中心理解 Table 3 里 Gestalt 78.9 / 86.1,均超过 BAGEL 的 77.7 / 84.…
- MMLU 纯文本知识与推理 5-shot。
- TruthfulQA 文本真实性与抗误导 5-shot,报 MC2。
- WinoGrande commonsense 指代消解 5-shot。
- HellaSwag 常识续写 0-shot。
- ARC-E / ARC-C 科学问答 Easy / Challenge 0-shot;Gestalt 在这两项提升最大(+15.57 / +15.02)…
- MIB-V / MIBench-Visual 视觉特有信息能力 Table 6 的视觉类指标;LLaDA-o 60.31 略高于 Gestalt 59.…
- CoreCog-SM 基础感知运动认知 CoreCognition 的 Sensorimotor 子集。
- MM-IMDb 跨模态协同 电影多模态分类,需联合图文信息;Gestalt 67.07,领先幅度 +15.53。
- SRBench 空间关系推理 协同类指标;Gestalt 53.17。
- DOCCI 表征可视化数据源 不是评分基准;3.3 节用它取图文对做第 24 层表征可视化。
- FGRS / FGRC 遥感细粒度识别 / 关系推理 附录 7.2 的领域迁移评测。
- 三、参评模型词典(14 组)
- 模型 所属组别 在论文里的角色
- DALL-E-3 / SD-3.5-Large / OmniGen2 生成专用 UniGenBench 参照组。
- PixArt-Sigma / FLUX.1 Pro / MidJourney V7 / SD 3.5 Large 生成专用 TIIF-Bench 参照组…
- Emu3 统一 · 自回归 next-token prediction 路线;UniGenBench 50.95。
- Show-o2 统一 · 混合 改进版原生统一模型;纯文本 MMLU 71.70,为 Table 5 全表最高。
- Janus-Pro 统一 · 自回归 理解与生成统一;TIIF / 纯文本参照。
- BAGEL 统一 · 自回归 Table 3 唯一的 AR 参照,MME-P 1687.0 为全表最高。
- MMaDA 统一 · 扩散 多模态大扩散语言模型。
- Lumina-DiMOO 统一 · 扩散 Table 1 统一组最高 71.81;Table 4 表征偏移最大。
- LaViDA-o / LaViDa-O 统一 · 扩散 论文两处大小写不一致,本站照录原表写法。
- LLaDA-o 统一 · 扩散 Table 6 的 MIB-V 60.31 略高于 Gestalt。
- Omni-diffusion 统一 · 扩散 掩码离散扩散统一模型。
- Qwen3.8-9B-Distill 统一 · 自回归(对照) 3.3 节表征可视化对照;因无官方 9B checkpoint,论文改用蒸馏版并给出脚注…
- GeoChat / SkySenseGPT 遥感专用 附录 7.2 的领域参照;SkySenseGPT 用 1.415M 遥感样本。
- Kimi K3 / Qwen 3.8 / LLaVA / Qwen2.5-VL 引言提及 用于说明「架构兼容 → 数据兼容」的演进,不在评测表里。
- 论文 Table 3 里「LaViDA-o」与 Table 6 里「LaViDa-O」大小写不一致,本站按原表照录,不代为统一。表内 † 记号含义见 评…
- 四、作者与机构编号
- 1 中国人民大学高瓴人工智能学院(北京)
- 2 大模型与智慧治理北京市重点实验室
- 3 北京航空航天大学
- 4 北京邮电大学
- 5 上海人工智能实验室
- 6 AresoX
- 作者 机构编号 分工(据 Author Contributions)
- Zequn Yang 1,2 共同一作;项目整体推进;模型预训练与 SFT;架构与核心实验;论文写作
- Yu Miao 1,2 共同一作;架构与核心实验;数据处理与组织;图像生成能力评测
- Haotian Ni 3 共同一作;架构与核心实验;多模态理解评测
- Ziheng Chen 1,2 共同一作;数据处理与组织;纯文本能力评测
- Chengxiang Huang 4 共同一作;数据处理与组织
- Dongzhan Zhou 5 技术设计与方法论讨论
- Kai Chen 5 技术设计与方法论讨论
- Qi Zhang 5 技术设计与方法论讨论
- Ji-Rong Wen 1,2 技术设计与方法论讨论
- Yake Wei 1,2 团队负责人;项目整体推进;论文写作与修订;监督指导
- Di Hu 1,2,6 通讯作者、团队负责人;发起项目;论文写作与修订;监督指导
- † 为共同一作(前五位),‡ 为团队负责人,✉ 为通讯作者 Di Hu;标 * 的作者部分工作在上海人工智能实验室实习期间完成。分工文字依据 READM…
- 来源: 论文全文 v2 、 官方项目主页 、 仓库 README 。中文释义由本站撰写;最后核对 2026-11-20。
常见问题(33 条)
- 容易被问到、也容易被答错的 15 件事
- 按「能追到一手来源」的口径回答。凡是官方没给、或本机没能核实的,直接写没给 / 没核实,不用推测填空。
- 这个中文站是官方的吗?
- 不是。本站是第三方中文整理,与论文作者、GeWu-Lab 及各所属机构无关联,不提供模型调用,也不托管权重。
- 为什么中文网上有完全不同的两个 Gestalt?
- 至少四个同名对象:本模型、匿名 stealth 设计模型、格式塔心理学、其他同名产品。中文圈常把本模型误当成匿名设计模型的出处,无任何公开确认。看同名辨…
- 模型有多大?参数量多少?
- 官方只写基座 LLaDA-8B-Instruct,论文、主页、README 都没有给出 Gestalt 自身参数量、训练算力与耗时。本站不推测。
- 官方主页给了 Hugging Face Space Demo 链接,但本站建站时本机网络访问 Hugging Face 未成功,因此不写「可正常体验」,…
- 许可证是 Apache 2.0 吗?
- README 这么写,但同一句后留着 TODO: confirm license,仓库根目录没有 LICENSE 文件,GitHub API 的 lic…
- 论文是 CC BY 4.0 吗?
- arXiv 页面标注 CC BY 4.0。本站只做要点转述与数字照录,不整段搬运论文正文。
- SFT 数据能下载吗?
- README 写 SFT data coming soon,截至 2026-11-20 核对日尚未放出。
- 交互 token 为什么是 32 个?
- 论文只说使用 32 个可学习交互 token,没有给出取这个数目的消融或理由。本站不补解释。
- Zone II 有多少层?
- Figure 2 把两区段写作 N1 / N2 层,正文只明确前 4 层为 Zone I,未给 N2 数值。本站不推测。
- 为什么 13.7M 之外还有 2.5M?
- 13.7M 是理解与纯文本指令样本;另收 2.46M 文生图样本(官方约写作 2.5M),大致均匀分布到三个阶段,不参与四类交互的课程划分。
- 三阶段课程真的比均匀混合好吗?
- 不是无条件更好。论文 Table 8 显示它改变的是能力出现的顺序:早期 MME-P +113.8 但 MMStar-P -4.44,到阶段 3 反转。…
- Gestalt 是不是「全面超越」其他模型?
- 不是。Table 3 的 MME-P(BAGEL 1687.0 > 1600.2)、Table 5 的 MMLU(Show-o2 71.70 > 49.…
- 为什么文生图推理输出的是 .npy 而不是图片?
- run_t2i.py 输出的是 VQ-VAE 离散 token;要得到图片还需经过解码环节。README 给的就是这条命令与这个输出。
- 训练时最容易踩的坑是什么?
- checkpoint 目录必须含 tokenizer.json;Parquet 文件数不能少于分布式进程数;T2I 默认空 system prompt,…
- 发现数字对不上怎么办?
- 先看核对日期与来源。官方页面与仓库可能更新,本站所有数字带「最后核对」时间戳;以官方原文为准,本站按「改错留痕」原则修订。
- 如果你要找的是模型参数量、训练算力、单次推理成本、Zone II 层数、32 个交互 token 的选取依据、SFT 数据下载地址 —— 这些官方资料里…
- 本页答案依据 论文全文 、 官方 README 与官方项目主页,核对日期 2026-11-20;本站为非官方整理。
中文图解(27 条)
- 把论文里的关系画成中文
- 这一页的 8 张图全部由本站依据论文文字与表格数字自绘(其中 2 张与首页共用), 不是论文原图,也不搬运官方示意图 。浅底深字,数字照录,图下写明依据…
- 一 · 概念:多模态交互金字塔
- 本站依据论文「多模态交互金字塔」概念自绘,非官方原图。三色沿用官方既有色(蓝=视觉、紫=语言、粉=协同),图形为本站自建的三角形母题。论文里的例子:文字…
- 二 · 架构:两个 Zone 与交互 token
- 论文的核心设计不是「从第一层就共享全部计算」,而是先用受限交换保住模态特有信息,再放开做全模态整合。论文讨论节的判断是:统一未必要求从最底层就共享计算,…
- 三 · 四类交互信息关系
- 依据论文 2.1 节与附录 6.2 的四类交互定义自绘,非论文原图。论文举的例子:文字给出「哪只戴红项圈」,图像给出项圈颜色,合起来才能认出是哪只狗 —…
- 四 · 13.7M 指令数据的构成
- 四类汇总口径在论文 2.2 节与附录 6.2 的列举顺序不同,本站按「冗余 / 文本特有 / 视觉特有 / 协同」统一排列,数字不变。本站自绘,非论文原…
- 五 · 三阶段训练课程
- 依据论文 3.1 节与 Table 8 自绘,非论文原图。三阶段数据规模取自官方项目主页与论文;仓库配置里的 Stage-III 参数是默认值,不等于论…
- 六 · 主评测结果(Table 1)
- 按论文 Table 1 第一列数字重绘。带 ↑ 的数值为原表标注的相对提升,本站照录不换算。同页其余分项与五张主评测表见「评测数据」页。本站自绘,非论文…
- 七 · 语言表征保留(Table 4)
- Table 4 同时报告 CKA:Gestalt 0.99494,投影对齐组 0.99997 / 0.99964 / 0.97424,Lumina-Di…
- 八 · 课程消融的能力轨迹(Table 8)
- 按论文 Table 8 的 Δ 列重绘,非论文原图。MME-P 从 +113.8 走到 −37.9,MMStar-P 从 −4.44 转到 +2.20 …
- 图 依据 数字来源 官方原文
- 金字塔 / 两个 Zone 论文 1–2 节文字 无数字,纯关系示意 一手来源
- 四类交互关系 论文 2.1 节与附录 6.2 2.8M / 4.2M / 4.0M / 2.7M 数据与训练
- 13.7M 构成 论文 Table 7 与 2.2 节 details.json · interplay_mix 数据与训练
- 三阶段课程 论文 3.1 节与 Table 8 70M / 8M / 13.7M 数据与训练
- UniGenBench 条形 论文 Table 1 第一列 benchmarks.json 评测数据
- 表征保留条形 论文 Table 4 Cosine 列 details.json · tables 分析实验
- 课程消融 Δ 论文 Table 8 的 Δ 列 details.json · tables 分析实验
- 全部图形为本站自绘 SVG,直接写在 HTML 源码里,无脚本、无外部图片;最后核对 2026-11-20。相关: 一手来源 · 编辑原则 。
全站搜索(13 条)
- 全站内容,一页看全
- 左栏顶部的搜索框在 每一个页面 都有,能检索到全站正文:中文自动分词、英文整词、多个词并列。输入后点「搜」或按回车,结果列在 右侧主区 。本页是它的 静…
- 中文按整词 + 二元切分:「训练数据」能命中「三阶段训练数据」「13.7M 指令数据构成」。
- 英文与数字整词保留: LLaDA-8B-Instruct 、 0.99677 、 Table 8 都能直接搜。
- 空格分隔多个词,需同时命中:例如「许可证 TODO」「Zone I 32」。
- 输入后点「搜」或按回车,右侧主区按命中权重列出结果,标题高亮命中片段;点条目直达正文对应段落,点「返回本页内容」回到原页面。
- 只做字面匹配,不做语义检索、不联网、不记录输入、不调用任何外部服务。
- 覆盖全站 19 页的章节、段落、表格行、图注与代码,外加 274 条结构化条目;不含图片内部文字与外链目标站点内容。
- 禁用脚本时搜索框不响应,但下面两份静态索引完整可读;也可直接用 完整文档 一次读完全文。
- 结构化索引(274 条)
- 页面、文档章节、术语、基准、参评模型、常见问题、九张表、仓库文件、48 条文献、作者机构、训练参数与数据构成。
- 按页面分组,来自构建时对 19 页真实 HTML 的逐块抽取;每条都带锚点,点击直达该段落或表格行。默认收起,展开后源码里全部可见。
- 相关: 内容全集索引 · 完整文档 · 编辑原则 。
完整文档(576 条)
- 完整文档 · 25 章
- Gestalt 内容全集
- 0 · 关于这份文档
- 1 · 它是什么
- 2 · 问题背景:从架构兼容到交互
- 3 · 多模态交互金字塔
- 4 · 统一离散扩散与形式化目标
- 5 · 架构:两个 Zone 与交互 token
- 6 · 训练数据
- 7 · 三阶段课程与对照实验
- 8 · Stage-III 训练配置全参数
- 9 · 依赖与启动约束
- 10 · 主评测:五张表全量数字
- 11 · 补充表:表征空间与遥感迁移
- 12 · 表征与交互 token 分析
- 13 · 纯文本能力
- 14 · 相关工作、讨论与致谢
- 15 · 附录实验:定性与领域迁移
- 16 · 代码仓库
- 17 · 快速上手(逐条摘自官方 README)
- 18 · 引用与许可证
- 20 · 常见问题(15 条)
- 21 · 同名辨析
- 22 · 一手来源
- 23 · 覆盖对照与边界
- 24 · 参考文献(48 条)
- 非官方中文资料汇编 · 核对日 2026-11-20 · 与 gestaltx.org 同源同数 整理对象:Gestalt: Large Multimo…
- 性质 :第三方中文整理,与论文作者、GeWu-Lab 及各所属机构无关联;不提供模型调用,不托管权重,不接推广。
- 来源口径 :论文全文 v2、官方项目主页、代码仓库 README 与仓库内配置文件、arXiv 元数据、GitHub API。中文资讯稿只用于了解误读,…
- 置信度 :能点回一手来源并人工比对的写「已核实」;官方留了待确认标记、本机网络未核实或官方根本没给的,一律放进缺口清单,不推测填空。
- 项目 数量 落点
- 论文表格 9 张(Table 1–9 全部) 第 10、11 章 + 站点评测/分析/数据页
- 参考文献题录 48 条 第 24 章 + 论文精读页
- 核心术语 26 条 第 19 章 + 术语与词典页
- 评测基准 20 个 第 19 章
- 参评模型组 14 组 第 19 章
- 常见问题 15 条 第 20 章 + 常见问题页
- 作者 / 机构 11 位 / 6 所 第 19 章
- Stage-III 超参 40 项 第 8 章 + 数据与训练页
- 仓库主要文件 21 项 第 16 章 + 仓库结构页
- 站点页面 19 页 第 23 章 + 内容全集索引页
- 自绘中文图解 8 张 中文图解页(数字取自同一份快照)
- 全站检索索引 1655 条(274 结构化 + 1381 正文块) 左栏输入 / 右主区出结果 + 全站搜索页(正文逐块带锚点)
- 上游观测指标 19 项(13 可核对 / 6 未核实) 上游变更日志页
- 在线阅读 :这份文档本身也在站内,见 https://gestaltx.org/handbook/ (25 章单页长文,纯静态 HTML),并提供 Ma…
- 一句话:Gestalt 是一个围绕「多模态交互」组织起来的统一模型 —— 同一个离散扩散框架里同时做图像生成、多模态理解和纯文本任务,而不是三套模型拼起…
- 英文全称 Gestalt: Large Multimodal Interplay Model
- 中文可译作 大型多模态交互模型(本站译法,非官方定名)
- 论文编号 arXiv:2610.00576(v1 2026-09-30,v2 2026-10-08,17 页 7 图)
- DOI https://doi.org/10.48550/arXiv.2610.00576
- 基座 LLaDA-8B-Instruct
- 框架 统一离散扩散(unified discrete diffusion)
- 图像表示 IBQ,视觉码本 16,384 项,并入语言词表;交错 MRoPE 保留二维空间位置
- 交互 token 32 个,可学习
- Zone I 前 4 层 Transformer;其余层为 Zone II
- 训练数据 70M 图文对预训练 + 8M 条件持续预训练 + 13.7M 指令微调(另含约 2.5M 文生图样本)
- 主要机构 中国人民大学高瓴人工智能学院、大模型与智慧治理北京市重点实验室、北京航空航天大学、北京邮电大学、上海人工智能实验室、AresoX
- 发布时间 2026-09-30 放出权重与训练/推理代码(据官方 README 的 News)
- 许可证 README 声明 Apache 2.0,但同句后留有 TODO: confirm license,且仓库根目录未见 LICENSE 文件 ——…
- README 与论文脚注都写明:名字取自格式塔心理学(Gestalt psychology)那句「整体大于部分之和」(the whole is grea…
- 日期 事件 依据
- 2026-09-29 代码仓库 GeWu-Lab/Gestalt 创建 GitHub API created_at
- 2026-09-30 放出模型权重与训练/推理代码;论文 v1 提交 arXiv 官方 README News
- 2026-10-02 README 公告 arXiv 论文上线 官方 README News
- 2026-10-08 论文 v2 修订版,17 页、7 图,arXiv 页标注 CC BY 4.0 arXiv 摘要页
- 2026-10-10 仓库最后一次推送 GitHub API pushed_at 快照
- 待定 SFT 数据 coming soon,截至核对日未放出 官方 README
- 2026-11-20 本站/本文档逐条核对上述一手来源 本次整理
- 官方项目主页 : https://gewu-lab.github.io/Gestalt/ —— 项目定位、架构、训练数据、全部评测表格(已核对)
- 论文摘要页 : https://arxiv.org/abs/2610.00576 —— 标题、作者、摘要、版本日期、页数、DOI(已核对)
- 论文全文(HTML) : https://arxiv.org/html/2610.00576v2 —— 基座、32 个交互 token、前 4 层 Zo…
- 代码仓库 : https://github.com/GeWu-Lab/Gestalt —— 快速上手、推理命令、数据格式、引用、许可证、更新动态(已核对…
- 模型权重 : https://huggingface.co/GeWu-Lab/Gestalt —— 权重下载(官方项目页与 README 均指向此处)(…
- 在线 Demo : https://huggingface.co/spaces/hugging-apps/gestalt —— 官方项目页 Demo 入…
- 论文开头把大模态模型的演进划成三段:
- 阶段 代表工作 做法 论文指出的局限
- 架构兼容 LLaVA、Qwen2.5-VL 视觉编码器经 projector 接到预训练语言模型 模态是接上了,关系没被建模
- 数据兼容 Kimi K3、Qwen 3.8 大规模混合模态语料在同一模型里联合预训练 把数据凑齐,仍不等于处理好了信息关系
- 交互(本文) Gestalt 显式区分模态特有、跨模态冗余、多模态协同三层信息 ——
- 核心判断是一句 more is different :多出来的不是数据,是新的信息关系。在单模态里,信息可能只存在于某一侧、被多侧共享、或只在组合后涌现…
- 论文借人类多感官知觉作类比:感官信息先在各通路内编码,再分阶段逐步整合成连贯表征。这个多阶段组织直接催生了下面的金字塔。
- 层 名称 处理的信息 对应到模型
- 底层 模态特有信息建模 Modality-Specific 只有单一模态才知道的信息:图像的颜色纹理、文本里的关系描述 Zone I 的独立 FFN 与…
- 中层 跨模态冗余对齐 Cross-Modal Redundancy 两种模态都提到的共有内容,用来建立对应关系 78M 对齐图文对的联合/条件掩码预训练
- 顶层 多模态协同 Multimodal Synergy 必须把互补线索合起来才能得到、任一单侧都给不出的结论 Zone II 全模态整合 + 协同类指令…
- 文本说:「我有两只狗。大的戴红项圈,小的戴蓝项圈。」图像给出可见的项圈颜色;两者共同提到的「草地上的金毛」建立跨模态对应。单看文本不知道哪只是小的,单看…
- 论文明确说它同时落在三处:架构(Zone I / Zone II 分区)、数据组织(四类交互样本)、训练策略(三阶段课程)。这三处相互对齐,是本文与「把…
- 固定的 VQ-VAE 编码器(IBQ)把图像变成离散 token,视觉码本 16,384 项,并入语言词表;仓库配置里 base_vocab_size …
- 图像 token 与文本 token 排进同一序列,用交错 MRoPE 保留图像的二维空间位置。
- 底层是掩码扩散语言模型,双向注意力;视觉与文本 token 可以互为条件, 没有自回归那种固定生成方向 。
- 对多模态序列 x = [xᵛ, xᵗ] 随机掩码一组位置 m,重建这些位置上的 token:掩码位置 token 的负对数似然求和取期望,条件为序列中未…
- 目标 用在哪个阶段 做法 学到什么
- 联合掩码预测 Joint Masked Prediction 多模态预训练(70M) 视觉与文本 token 独立掩码、联合重建 模态内结构 + 双向跨…
- 条件掩码预测 Conditional Masked Prediction 持续预训练(8M)与 SFT(13.7M) 留一个模态可见,掩码另一个并预测 …
- 部件 设定 作用
- Interplay Zone I(瓶颈交互) 论文指定 前 4 层 Transformer ;仓库 inter_layer_num: 4 印证 视觉与文…
- Interplay Zone II(全模态交互) Zone I 之后的其余层;Figure 2 记为 N₂ 解除限制,全模态自注意力 + 共享 FFN,…
- 交互 token 32 个可学习 token,贯穿两个 Zone Zone I 里中介交换,Zone II 里继续聚合任务相关信息
- 视觉 FFN 初始化 Zone I 新增的视觉 FFN 由 LLaDA 对应层文本 FFN 初始化 继承预训练能力,避免从零学起
- 基座 LLaDA-8B-Instruct 提供已具备的模态特有基础,所以多模态训练从中层冗余对齐起步
- 论文把两个 Zone 合起来概括为 preserve-then-integrate 路径:先专业化、再受控交换、最后完全整合。
- 论文没给的 :Zone II 的具体层数(只写 N₁ / N₂)、Gestalt 自身参数量、32 这个交互 token 数量的选取依据或消融。这些格子…
- 阶段 数据量 训练目标 数据来源
- 多模态预训练 70M 图文对 联合掩码预测 LLaVA-OneVision-1.5
- 条件持续预训练 8M 图文对 条件掩码预测 论文 3.1 节未单列
- 指令微调 Stage-III 13.7M 指令样本 + 约 2.5M 文生图样本 条件掩码预测 + 四类交互数据 + 三阶段课程 LLaVA-OneVi…
- 前两阶段合称 78M 对齐图文对 ; 所有阶段全参数可训练 。
- SFT 样本按主导信息结构分为冗余 R、文本特有 Ut、视觉特有 Uv、协同 S。汇总:2.8M 冗余、4.2M 文本特有、4.0M 视觉特有、2.7M…
- 补充表 B · 13.7M 指令数据的构成(论文 Table 7)
- 附录 6.2 把 13.7M 指令样本按主导交互类型组织。R=冗余、Uv=视觉特有、Ut=文本特有、S=协同。样本数与占比照录 Table 7。
- 主任务 / 子能力 样本数 占比 主要交互类型
- 多模态理解(MMU)· 合计 9.743M
- 图像描述与场景理解 3.086M 31.7% R, Uv
- 知识密集型视觉理解 2.105M 21.6% Ut, S
- 通用 VQA 与指令遵循 1.630M 16.7% Uv, S
- 物体、属性、状态与计数 1.558M 16.0% Uv
- 场景文字与 OCR 0.437M 4.5% Uv
- 视觉定位与空间理解 0.366M 3.8% Uv, S
- 幻觉抑制与难负样本 0.324M 3.3% Uv
- 关系与组合推理 0.236M 2.4% S
- 纯文本 · 合计 3.957M
- 文本理解与知识 3.957M 100.0% Ut
- 指令数据总量 13.700M – R, Uv, Ut, S
- 怎么读:四类交互的汇总口径:2.8M 冗余、4.0M 视觉特有、4.2M 文本特有、2.7M 协同,合计 13.7M(论文 2.2 节与附录 6.2 一…
- 预训练筛选 :从 LLaVA-OneVision-1.5-Midtraining 选高质量图文对,用 Qwen3-VL-32B-Instruct 校验图…
- SFT 多轮质控 :VQ-VAE 压缩会丢细节,原本可答的样本在 token 化后可能不再可答。先规则过滤,再用 Qwen3-VL-32B-Instru…
- 交互类型不逐条标注 :在子任务层做 —— 每个子数据集随机抽 100 条,结合任务启发式与模型辅助校验,判断两模态是否提供重叠证据、预测主要依赖哪一侧、…
- 图像生成数据 :另收 2.46M 条,不决定课程,大致均匀分布到三个阶段。
- 同一批文生图样本,论文 3.1 节写 2.5M 、附录 6.3 写 2.46M 、官方项目主页与 README 写 ≈2.5M 。三者并列留痕,本站不挑…
- 四类数据 全程都在 ,只调采样比例:阶段 1 巩固跨模态对齐与语言能力,阶段 2 强化视觉特有能力,阶段 3 推向更深的多模态整合。
- 补充表 C · 三阶段课程的对照实验(论文 Table 8)
- 从同一 CPT checkpoint 出发、只用 10% SFT 数据,比较「全程均匀混合」与「按交互类型排课程」。U=Uniform,C=Curric…
- 指标 阶段 1 · U 阶段 1 · C 阶段 1 · Diff. 阶段 2 · U 阶段 2 · C 阶段 2 · Diff. 阶段 3 · U 阶段…
- MMStar-P 49.52 45.08 -4.44 49.42 49.72 +0.30 51.67 53.87 +2.20
- MME-P 917.1 1030.9 +113.8 1135.8 1178.5 +42.7 1249.5 1211.6 -37.9
- MMVP 26.67 28.00 +1.33 32.67 26.00 -6.67 29.33 31.33 +2.00
- CVBench-2D 68.64 68.08 -0.56 73.02 72.11 -0.90 73.99 74.62 +0.63
- 怎么读:这张表最容易被误读成「课程更好」。实际结论是能力的出现顺序被改变了:早期偏冗余与文本,宽泛感知(MME-P +113.8)上来得快,细粒度感知反…
- 这张表最容易被误读成「课程更好」。论文原文的措辞是 *progressively reshapes the model toward different…
- 以下逐条照录仓库 configs/training/gestalt_stage_3.yaml 、 scripts/training/gestalt_sf…
- max_length 8192 最大序列长度
- token_budget 8192 token 预算
- base_vocab_size 126464 原语言词表大小
- vqvae_codebook_size 16384 视觉码本大小(IBQ)
- extended_vocab_size 142848 扩展后词表 = 126464 + 16384
- inter_layer_state interaction_token 交互层状态类型
- inter_layer_num 4 Zone I 层数,与论文「前 4 层」一致
- answer_mask_schedule linear 答案掩码调度;可选 cosine / linear / uniform
- image_mask_schedule linear 图像掩码调度
- image_loss_weight 0.1 图像损失权重
- loss_weight_mode token sample 按段归一;token 用 1/sqrt(L)/mask_ratio
- learning_rate 1e-5 学习率
- lr_scheduler_type constant 常数调度
- warmup_steps 200 预热步数
- adam_beta1 0.9 AdamW β1
- adam_beta2 0.95 AdamW β2
- adam_epsilon 1.0e-8 AdamW ε
- weight_decay 0.1 权重衰减
- max_steps 40000 Stage-III 最大训练步数
- gradient_accumulation_steps 4 梯度累积
- bf16 true BF16 混合精度
- gradient_checkpointing true 梯度检查点
- save_steps 1000 保存间隔
- save_total_limit 150 最多保留 checkpoint 数
- logging_steps 10 日志间隔
- dataloader_num_workers 0 数据加载进程
- remove_unused_columns false 保留未使用列
- NNODES 1 节点数
- NPROC_PER_NODE 1 单节点进程数;单卡时不设置
- NODE_RANK / MASTER_ADDR / MASTER_PORT 0 / 127.0.0.1 / 29500 分布式默认值
- OUTPUT_DIR outputs/stage3 输出目录
- CONFIG configs/training/gestalt_stage_3.yaml 默认配置
- DEEPSPEED configs/deepspeed/zero_stage2.json 设 DEEPSPEED=none 可关闭
- Parquet 文件数 ≥ 分布式进程数 README 明确的硬约束
- zero_optimization.stage 2 ZeRO-2
- allgather_bucket_size / reduce_bucket_size 1e8 / 1e8 通信桶大小
- overlap_comm / reduce_scatter true / true 通信重叠与归约
- optimizer.type AdamW 优化器,参数由训练配置自动注入
- fp16 / bf16 auto / auto 精度由启动参数决定
- steps_per_print 2000 日志打印间隔
- torch 2.10.0
- transformers 5.2.0
- deepspeed 0.18.5
- accelerate 1.12.0
- safetensors 0.7.0
- tokenizers 0.22.2
- flash-attn 未钉版本
- numpy 1.26.4
- pyarrow 23.0.0
- pyyaml 6.0.3
- einops 0.8.2
- pillow 10.4.0
- tqdm 4.67.3
- flash-attn 未钉版本;torch 2.10.0 / transformers 5.2.0 / deepspeed 0.18.5 是钉死的。
- checkpoint 目录必须包含 tokenizer.json ,训练直接从此读取分词器。
- Parquet 文件数不能少于分布式进程数;单机单卡时不设 NPROC_PER_NODE 。
- 文生图推理默认空 system prompt,与训练模板一致;若训练数据用了固定非空系统提示词,推理要传 --system-prompt 同一段文字。
- 下面五张表照录官方项目主页(与论文 Table 1 / 2 / 3 / 5 / 6 一致)。「↑」后是原表标注的领先幅度,「†」「–」沿用原表记号,含义…
- 一、细粒度文生图 · UniGenBench
- 官方描述:Gestalt 在参评模型中取得最高总分,兼顾细粒度语义对齐与组合式生成。下表为英文长提示设置。
- 模型 Overall Style World Attr. Action Rel. Comp. Grammar Layout Logic Text
- 生成专用模型(Gen. Only)
- DALL-E-3 70.82 95.08 92.71 84.98 68.36 77.90 73.88 68.19 71.76 57.11 18.26
- SD-3.5-Large 64.35 88.12 88.15 78.78 59.63 67.62 62.21 65.23 71.19 44.90 17.…
- OmniGen2 71.39 94.35 84.83 83.03 66.57 73.06 70.49 76.40 80.63 56.55 27.99
- 统一模型(Unified)
- Emu3 50.95 89.36 76.16 66.81 43.80 51.70 46.00 50.25 56.67 27.43 1.36
- Show-o2 70.33 93.11 88.44 86.35 69.02 77.37 76.45 70.30 80.63 59.71 1.90
- Janus-Pro 71.11 94.02 88.15 81.81 69.14 77.96 76.53 74.62 82.14 62.62 4.08
- MMaDA 40.10 75.83 52.75 49.90 32.42 39.06 38.37 50.00 43.02 19.42 0.27
- BAGEL 71.26 92.44 89.31 84.21 67.62 75.70 74.71 74.75 81.90 59.71 12.23
- Lumina-DiMOO 71.81 86.88 88.58 83.71 69.66 73.33 74.93 74.49 84.84 58.01 23.…
- Gestalt 73.30↑1.49 95.85↑0.77 81.65 82.51 68.57 78.12↑0.16 81.20↑4.67 82.23↑…
- 怎么读:Overall 是总分;Text 一列考察图中文字,Gestalt 为 3.80,明显不是强项 —— 看总分时别忽略分项。
- 二、长短指令文生图 · TIIF-Bench
- 官方描述:短、长指令两类设置下均领先,长提示引入更多相互依赖的要求时优势更大。四组指标各分短/长两列。
- 模型 Overall · Short Overall · Long Basic · Short Basic · Long Advanced · Shor…
- PixArt-Sigma 62.00 58.12 70.66 75.25 57.65 49.50 62.11 52.41
- FLUX.1 Pro 67.32 69.89 79.08 78.91 61.10 65.37 71.80 68.80
- MidJourney V7 68.74 65.69 77.41 76.00 64.66 60.53 68.83 63.61
- SD 3.5 Large 71.15 66.96 78.34 79.56 67.67 61.18 64.43 66.39
- Emu3 43.38 39.44 49.88 42.08 37.09 33.52 53.73 60.45
- MMaDA 52.32 52.90 65.78 66.71 50.32 50.76 60.45 55.60
- Show-o2 67.38 68.76 81.16 84.06 69.25 72.99 75.37 75.75
- Janus-Pro 66.50 65.02 79.33 78.25 59.71 58.82 65.84 60.25
- BAGEL 71.50 71.70 81.79 80.05 70.24 72.19 68.28 67.91
- Lumina-DiMOO 71.27 68.53 75.50 78.29 70.49 68.33 69.78 70.90
- Gestalt 74.57↑3.07 78.86↑7.16 83.79↑2.00 86.06↑2.00 72.60↑2.11 77.69↑4.70 84…
- 怎么读:论文正文把 74.57 / 78.86 写作 TIIF-Bench 的短/长设置成绩;长指令上的领先幅度普遍更大。
- 官方描述:视觉为中心的任务上增益更明显,反映在统一模型里保留模态特有信息的价值。
- 模型 MME-P GQA MMStar-P POPE RWQA MMVP CVB2d CVB3d
- 自回归基座(AR-Based)
- BAGEL 1687.0† 66.4 70.9 88.2 67.6 69.3† 77.7 84.2
- 扩散基座(Diffusion-based)
- MMaDA 1410.7† 61.3† 43.0 86.1† 48.2 17.3 55.3 54.8
- Lumina-DiMOO 1534.2† 43.3 – 87.4† 35.9 34.0 54.3 52.0
- LaViDA-o 1431.0 54.1 55.9 – 56.6 47.3 73.4 70.8
- LLaDA-o 1412.0† 58.0 55.6 87.2 66.4 46.7 78.0 75.9
- Omni-diffusion 1216.7† – – 76.6† – – – –
- Gestalt 1600.2↑66.0 60.2 60.8 86.5 59.1 48.7↑1.4 78.9↑0.9 86.1↑10.2
- 怎么读:MME-P 一项 BAGEL 的 1687.0 高于 Gestalt 的 1600.2;Gestalt 的优势集中在 CV-Bench 两条视觉…
- 官方描述:在参评的扩散式统一模型中整体领先,语言表现与 Janus-Pro 等自回归模型相当。
- 模型 MMLU TruthfulQA WinoGrande HellaSwag ARC-E ARC-C
- Show-o2 71.70 46.94 74.03 76.67 84.43 58.53
- Janus-Pro 49.90 41.72 67.17 68.41 65.74 40.70
- BAGEL 28.02 40.51 50.75 28.59 27.53 23.63
- MMaDA 40.14 43.81 54.85 45.81 46.72 28.67
- Lumina-DiMOO 29.75 43.34 51.62 39.11 44.44 26.45
- LLaDA-o 25.25 52.30 51.22 30.72 36.66 24.66
- Gestalt 49.50↑9.36 47.55 60.62↑5.77 53.44↑7.63 62.29↑15.57 43.69↑15.02
- 怎么读:这里的「领先」限定在扩散式统一模型这一组;与 Show-o2 的 MMLU 71.70 相比仍有差距。
- 五、视觉特有与协同能力
- 官方描述:视觉特有表现与协同类指标相配,在参评的扩散式模型中取得领先的协同结果。
- 模型 MIB-V(视觉特有) CoreCog-SM(协同) MM-IMDb(协同) SRBench(协同)
- BAGEL 65.96 65.00 60.60 51.89
- MMaDA 44.23 43.20 30.39 36.72
- Lumina-DiMOO 56.43 42.20 31.22 45.50
- LLaDA-o 60.31 53.30 39.64 50.89
- LaViDa-O 58.07 50.60 51.54 40.89
- Gestalt 59.89 55.20↑1.90 67.07↑15.53 53.17↑2.28
- 怎么读:MIB-V 一项 LLaDA-o 的 60.31 略高于 Gestalt 的 59.89;这一组表格要看的是协同三项的跃升幅度。
- 以下数字照录官方项目主页的评测表格,本站仅做中文表头整理与分组排版,未复现、未重算。带 † 与 – 的记号沿用原表,含义以原页为准;↑ 后的数字为原表标…
- 分项比总分诚实 :MME-P 一项 BAGEL 1687.0 高于 Gestalt 1600.2;UniGenBench 的 Text 分项 Gesta…
- 补充表 A · 语言表征空间的偏移与保留(论文 Table 4)
- 以预训练 LLaDA 为参照,衡量两种多模态适配范式对语言嵌入空间的改动。Norm / Distance 看分布偏移,Cosine Sim. / CKA…
- 模型 适配范式 Norm Mean Norm Std Mean Distance Cosine Sim. CKA
- 基座(Base)
- LLaDA 参照 7.82 1.11 – – –
- 投影对齐(Projector Alignment)
- LLaDA-V 投影对齐 7.82 1.11 0.043 0.99998 0.99997
- LaViDa 投影对齐 7.83 1.11 0.160 0.99976 0.99964
- LLaDA-O 投影对齐 8.02 1.16 1.520 0.98136 0.97424
- 统一 token 空间(Unified Token Space)
- Lumina-DiMOO 统一离散空间 0.85 0.49 7.426 0.58795 0.43894
- Gestalt 统一离散空间 5.29 0.76 2.590 0.99677 0.99494
- 怎么读:统一 token 空间的模型改动更大,但 Gestalt 的 Cosine 0.99677 与 CKA 0.99494 远高于 Lumina-D…
- 补充表 D · 遥感领域迁移(论文 Table 9)
- 只向训练混合里加入 5 万条 FIT 遥感 VQA 样本,考察模型吸收新视觉域知识的效率。FGRS 考细粒度识别,FGRC 考物体与区域间的关系推理。
- 模型 遥感微调样本 FGRS FGRC
- BAGEL – 42.51 36.65
- GeoChat – 53.47 21.90
- SkySenseGPT 1.415M 79.76 55.50
- Lumina-DiMOO * 50K 77.77 –
- Gestalt 50K 79.34 38.20
- 怎么读:用 5 万条样本得到 FGRS 79.34,逼近用 141.5 万条训练的专业模型 SkySenseGPT 的 79.76;同数据量下也高于 L…
- 3.3 节在 第 24 层 、用 DOCCI 图文对可视化隐藏表征:Lumina-DiMOO 两模态明显分离;Qwen3.8 有部分重叠但大量文本 to…
- Table 4 显示:投影对齐类模型对原语言空间改动最小;统一 token 空间类改动更大。但 Gestalt 的 Cosine 0.99677 / C…
- 3.4 节在 第 16 层 可视化 MIBench 上交互 token 的隐藏表征。MIBench 按预测所需信息把样本分成视觉特有、文本特有、跨模态协…
- 评测设置:MMLU、WinoGrande、TruthfulQA 用 5-shot,HellaSwag、ARC-Easy、ARC-Challenge 用 …
- 相关工作 :从架构兼容(视觉编码器 + projector + AR 语言模型)到原生统一模型(共享模型联合预训练,同时支持理解与生成),后者又分自回归…
- 讨论 :核心判断是「统一未必要求从最底层就共享全部计算」—— 先模态特有处理、受控交换、再完全整合,可能更好地平衡专长与协同。作者把它和混合模态 sca…
- 致谢与资助 :论文写明本工作部分受北京市自然科学基金 4262050 与北京新星计划 202604841277 支持。
- 只加 5 万条 FIT 遥感 VQA 样本,FGRS 79.34 逼近用 141.5 万条样本的 SkySenseGPT 79.76,同数据量下也高于 …
- 论文举的例子:雪地上的北极熊与企鹅、金字塔前的骆驼队、塞纳河边的情侣与游轮、装在不同容器里的几组花束、内部装不同内容物的相似瓶子、金属空碗旁的小狗。风格…
- 以上是论文文字描述,本站不搬运官方示例图。
- 仓库 GeWu-Lab/Gestalt ,默认分支 main,2026-11-20 快照:创建 2026-09-29、最后推送 2026-10-10、s…
- README.md 项目说明、News、架构、训练、Quick Start、数据格式、引用、许可证、作者分工
- archive/Gestalt.pdf 论文 PDF 归档
- assets/ 官方标识、金字塔、架构图、评测图、示例图、微信群二维码(本站不搬运)
- configs/training/gestalt_stage_3.yaml Stage-III SFT 全部超参
- configs/deepspeed/zero_stage2.json ZeRO-2 配置
- gestalt/data/datasets.py 数据集定义
- gestalt/data/stage3.py 第三阶段数据加载
- gestalt/model/builder.py 模型构建
- gestalt/model/config.py 配置读取
- gestalt/model/configuration_llada.py LLaDA 配置
- gestalt/model/flex_attention.py 灵活注意力(Zone I 受限交换相关)
- gestalt/model/modeling_gestalt.py Gestalt 主体模型
- gestalt/model/modeling_llada.py LLaDA 基座模型
- gestalt/model/mrope.py 交错 MRoPE 位置编码
- gestalt/model/templates.py 提示词模板
- gestalt/training/trainer.py 训练器
- scripts/training/gestalt_sft.sh Stage-III 启动脚本(torchrun)
- scripts/training/train_stage3.py Stage-III 训练入口
- scripts/inference/run_mmu.py 多模态理解推理
- scripts/inference/run_t2i.py 文生图推理(输出 VQ-VAE token)
- requirements.txt 13 项依赖,含版本
- task_type 任务 入口
- i2t 图生文、多模态理解 MMU scripts/inference/run_mmu.py
- t2i 文生图 scripts/inference/run_t2i.py(输出 VQ-VAE 离散 token)
- i2i 图生图 Stage-III 统一 Parquet schema;README 未单列推理脚本
- 训练统一走 scripts/training/gestalt_sft.sh → train_stage3.py ,配置 configs/training…
- git clone https://github.com/GeWu-Lab/Gestalt.git cd Gestalt pip install -r …
- python scripts/inference/run_mmu.py \ --model /path/to/checkpoint \ --image-…
- python scripts/inference/run_t2i.py \ --model /path/to/checkpoint \ --prompt…
- 输出是 VQ-VAE 离散 token,不是图片文件。
- DATA_DIR=/path/to/parquet \ PRETRAINED=/path/to/checkpoint \ NPROC_PER_NODE=…
- 字段 图生文 / 理解 i2t 文生图 t2i 图生图 i2i
- task_type i2t t2i i2i
- metadata_json JSON 字符串 JSON 字符串 JSON 字符串
- conversations 字符串 / 轮次列表 — —
- img_tokens VQ-VAE 原始 ID — —
- system_prompt 可选 字符串 字符串
- user_prompt — 字符串 字符串
- input_image_tokens — — VQ-VAE 原始 ID
- answer_image_tokens — VQ-VAE 原始 ID VQ-VAE 原始 ID
- 字段名照录 README,改动会导致训练脚本读不到数据。SFT 数据官方标注 coming soon。
- 官方 README 给出的引用条目:
- @article{gestalt2026, title = {Gestalt: Large Multimodal Interplay Model}, a…
- 论文 :arXiv 页面标注 CC BY 4.0;本站只做要点转述与数字照录,不整段搬运正文。
- 代码许可证 :README 写 This project is released under the Apache 2.0 license. ,但同一句…
- Multimodal Interplay / 多模态交互 论文核心概念:信息可能只存在于单一模态、被多模态共享、或只在组合后才涌现,这三类关系合称交互。
- Multimodal Interplay Pyramid / 多模态交互金字塔 底层模态特有信息建模 → 中层跨模态冗余对齐 → 顶层多模态协同;同时约…
- Modality-specific / 模态特有信息 只有某一模态才知道的信息,如图像的颜色纹理、文本里的关系描述。
- Redundancy / 冗余信息 两种模态都提到的共有内容,用来建立跨模态对应关系。论文记作 R。
- Synergy / 协同信息 必须把互补线索合起来才能得到、任一单模态都给不出的结论。论文记作 S。
- Uv / Ut 论文记号:视觉特有信息(visual-unique)与文本特有信息(text-unique)。
- Unified Discrete Diffusion / 统一离散扩散 图像与文本共用离散 token 空间与同一个掩码预测目标,双向条件化,没有自回归…
- Masked Diffusion Objective 论文公式 (1):对多模态序列随机掩码一组位置并重建对应 token,取负对数似然;双向条件化,无…
- Joint Masked Prediction / 联合掩码预测 预训练目标:视觉与文本 token 各自独立掩码、联合重建,学模态内结构与双向跨模态依…
- Conditional Masked Prediction / 条件掩码预测 CPT 与 SFT 目标:留一个模态可见,掩码并预测另一个,建立 visi…
- Interplay Token / 交互 token 32 个可学习 token,作为视觉流与文本流的共享接口;Zone I 里中介交换,Zone II…
- Interplay Zone I / 瓶颈交互区 前 4 层 Transformer;视觉与文本各走独立 FFN,跨模态直连注意力受限,只能经交互 to…
- Interplay Zone II / 全模态交互区 Zone I 之后的其余层;全模态自注意力 + 共享 FFN,三类 token 直接互通。
- Preserve-then-integrate 论文对两个 Zone 合起来作用的概括:先保住模态特有表征,再做完全整合。
- IBQ / Index Backpropagation Quantization 图像 tokenizer,固定 VQ-VAE 编码器,码本 16,38…
- VQ-VAE token 图像被压缩成的离散 ID。推理时 run_t2i.py 输出的就是它,不是图片文件。
- MRoPE / interleaved MRoPE 交错多维旋转位置编码,用来在共享序列里保留图像 token 的二维空间位置。
- LLaDA-8B-Instruct 基座模型:掩码扩散语言模型,双向注意力;Gestalt 从这里初始化。
- CPT / Continual Pretraining 持续预训练,8M 图文对,条件掩码预测。
- SFT / Supervised Fine-Tuning 指令微调,13.7M 四类交互样本 + 约 2.5M 文生图样本,三阶段课程。
- Interplay-Oriented Curriculum 三阶段课程:四类数据全程保留,只调采样比例,重心从冗余/文本 → 视觉特有 → 协同。
- CKA Centered Kernel Alignment,衡量两组表征结构的相似度,Table 4 用来衡量语言空间保留程度。
- ZeRO-2 DeepSpeed 的优化器状态与梯度分片策略,仓库默认配置。
- Parquet Stage-III 训练数据的文件格式,统一 schema 覆盖 i2t / t2i / i2i 三类任务。
- MMU Multimodal Understanding,多模态理解;推理脚本 run_mmu.py 对应这一类任务。
- T2I / I2T / I2I 文生图 / 图生文 / 图生图,对应数据格式里的 task_type 三种取值。
- 基准 类别 / 考察点 说明
- UniGenBench 细粒度文生图 属性、动作、空间关系、组合、逻辑推理等 11 个分项;官方表为 English Long 设置。
- TIIF-Bench 复杂指令遵循的文生图 短 / 长两种提示,Overall、Basic、Advanced、Designer 四组指标。
- MME-P 多模态理解(感知) MME 的感知分项,分数为千量级;Table 3 中 BAGEL 1687.0 高于 Gestalt 1600.2。
- GQA 真实场景视觉推理与组合式问答 Table 3 的通用 VQA 组。
- MMStar-P 多模态感知 MMStar 的 Perception 分项;课程消融表也用它做细粒度感知指标。
- POPE 物体幻觉 判断模型是否幻觉出不存在的物体。
- RWQA / RealworldQA 真实世界场景问答 Table 3 的通用 VQA 组。
- MMVP 视觉中心感知 专门暴露多模态大模型视觉短板的基准。
- CV-Bench 2D / 3D 视觉中心理解 Table 3 里 Gestalt 78.9 / 86.1,均超过 BAGEL 的 77.7 / 84.…
- MMLU 纯文本知识与推理 5-shot。
- TruthfulQA 文本真实性与抗误导 5-shot,报 MC2。
- WinoGrande commonsense 指代消解 5-shot。
- HellaSwag 常识续写 0-shot。
- ARC-E / ARC-C 科学问答 Easy / Challenge 0-shot;Gestalt 在这两项提升最大(+15.57 / +15.02)…
- MIB-V / MIBench-Visual 视觉特有信息能力 Table 6 的视觉类指标;LLaDA-o 60.31 略高于 Gestalt 59.…
- CoreCog-SM 基础感知运动认知 CoreCognition 的 Sensorimotor 子集。
- MM-IMDb 跨模态协同 电影多模态分类,需联合图文信息;Gestalt 67.07,领先幅度 +15.53。
- SRBench 空间关系推理 协同类指标;Gestalt 53.17。
- DOCCI 表征可视化数据源 不是评分基准;3.3 节用它取图文对做第 24 层表征可视化。
- FGRS / FGRC 遥感细粒度识别 / 关系推理 附录 7.2 的领域迁移评测。
- 模型 所属组别 在论文里的角色
- DALL-E-3 / SD-3.5-Large / OmniGen2 生成专用 UniGenBench 参照组。
- PixArt-Sigma / FLUX.1 Pro / MidJourney V7 / SD 3.5 Large 生成专用 TIIF-Bench 参照组…
- Emu3 统一 · 自回归 next-token prediction 路线;UniGenBench 50.95。
- Show-o2 统一 · 混合 改进版原生统一模型;纯文本 MMLU 71.70,为 Table 5 全表最高。
- Janus-Pro 统一 · 自回归 理解与生成统一;TIIF / 纯文本参照。
- BAGEL 统一 · 自回归 Table 3 唯一的 AR 参照,MME-P 1687.0 为全表最高。
- MMaDA 统一 · 扩散 多模态大扩散语言模型。
- Lumina-DiMOO 统一 · 扩散 Table 1 统一组最高 71.81;Table 4 表征偏移最大。
- LaViDA-o / LaViDa-O 统一 · 扩散 论文两处大小写不一致,本站照录原表写法。
- LLaDA-o 统一 · 扩散 Table 6 的 MIB-V 60.31 略高于 Gestalt。
- Omni-diffusion 统一 · 扩散 掩码离散扩散统一模型。
- Qwen3.8-9B-Distill 统一 · 自回归(对照) 3.3 节表征可视化对照;因无官方 9B checkpoint,论文改用蒸馏版并给出脚注…
- GeoChat / SkySenseGPT 遥感专用 附录 7.2 的领域参照;SkySenseGPT 用 1.415M 遥感样本。
- Kimi K3 / Qwen 3.8 / LLaVA / Qwen2.5-VL 引言提及 用于说明「架构兼容 → 数据兼容」的演进,不在评测表里。
- 1 中国人民大学高瓴人工智能学院(北京)
- 2 大模型与智慧治理北京市重点实验室
- 3 北京航空航天大学
- 4 北京邮电大学
- 5 上海人工智能实验室
- 6 AresoX
- 作者 机构编号 分工(据 Author Contributions)
- Zequn Yang 1,2 共同一作;项目整体推进;模型预训练与 SFT;架构与核心实验;论文写作
- Yu Miao 1,2 共同一作;架构与核心实验;数据处理与组织;图像生成能力评测
- Haotian Ni 3 共同一作;架构与核心实验;多模态理解评测
- Ziheng Chen 1,2 共同一作;数据处理与组织;纯文本能力评测
- Chengxiang Huang 4 共同一作;数据处理与组织
- Dongzhan Zhou 5 技术设计与方法论讨论
- Kai Chen 5 技术设计与方法论讨论
- Qi Zhang 5 技术设计与方法论讨论
- Ji-Rong Wen 1,2 技术设计与方法论讨论
- Yake Wei 1,2 团队负责人;项目整体推进;论文写作与修订;监督指导
- Di Hu 1,2,6 通讯作者、团队负责人;发起项目;论文写作与修订;监督指导
- † 共同一作(前五位),‡ 团队负责人,✉ 通讯作者 Di Hu;标 * 者部分工作在上海人工智能实验室实习期间完成。分工文字依据 README 与论文…
- 1. 这个中文站是官方的吗?
- 不是。本站是第三方中文整理,与论文作者、GeWu-Lab 及各所属机构无关联,不提供模型调用,也不托管权重。
- 2. 为什么中文网上有完全不同的两个 Gestalt?
- 至少四个同名对象:本模型、匿名 stealth 设计模型、格式塔心理学、其他同名产品。中文圈常把本模型误当成匿名设计模型的出处,无任何公开确认。看同名辨…
- 3. 模型有多大?参数量多少?
- 官方只写基座 LLaDA-8B-Instruct,论文、主页、README 都没有给出 Gestalt 自身参数量、训练算力与耗时。本站不推测。
- 4. 能直接体验吗?
- 官方主页给了 Hugging Face Space Demo 链接,但本站建站时本机网络访问 Hugging Face 未成功,因此不写「可正常体验」,…
- 5. 许可证是 Apache 2.0 吗?
- README 这么写,但同一句后留着 TODO: confirm license,仓库根目录没有 LICENSE 文件,GitHub API 的 lic…
- 6. 论文是 CC BY 4.0 吗?
- arXiv 页面标注 CC BY 4.0。本站只做要点转述与数字照录,不整段搬运论文正文。
- 7. SFT 数据能下载吗?
- README 写 SFT data coming soon,截至 2026-11-20 核对日尚未放出。
- 8. 交互 token 为什么是 32 个?
- 论文只说使用 32 个可学习交互 token,没有给出取这个数目的消融或理由。本站不补解释。
- 9. Zone II 有多少层?
- Figure 2 把两区段写作 N1 / N2 层,正文只明确前 4 层为 Zone I,未给 N2 数值。本站不推测。
- 10. 为什么 13.7M 之外还有 2.5M?
- 13.7M 是理解与纯文本指令样本;另收 2.46M 文生图样本(官方约写作 2.5M),大致均匀分布到三个阶段,不参与四类交互的课程划分。
- 11. 三阶段课程真的比均匀混合好吗?
- 不是无条件更好。论文 Table 8 显示它改变的是能力出现的顺序:早期 MME-P +113.8 但 MMStar-P -4.44,到阶段 3 反转。…
- 12. Gestalt 是不是「全面超越」其他模型?
- 不是。Table 3 的 MME-P(BAGEL 1687.0 > 1600.2)、Table 5 的 MMLU(Show-o2 71.70 > 49.…
- 13. 为什么文生图推理输出的是 .npy 而不是图片?
- run_t2i.py 输出的是 VQ-VAE 离散 token;要得到图片还需经过解码环节。README 给的就是这条命令与这个输出。
- 14. 训练时最容易踩的坑是什么?
- checkpoint 目录必须含 tokenizer.json;Parquet 文件数不能少于分布式进程数;T2I 默认空 system prompt,…
- 15. 发现数字对不上怎么办?
- 先看核对日期与来源。官方页面与仓库可能更新,本站所有数字带「最后核对」时间戳;以官方原文为准,本站按「改错留痕」原则修订。
- 中文信息里最容易出的一次错,是把这个开源多模态论文当成另一个匿名设计模型的「出处」。两者只是同名。
- # 叫什么 是什么 时间 可核对程度
- ① Gestalt: Large Multimodal Interplay Model 本文档主体。人大高瓴 GeWu-Lab 等的开源统一多模态大模型…
- ② Gestalt(stealth,匿名设计模型) Contra Labs × BenchFlow「Frontier Design Benchmark」…
- ③ 格式塔心理学 20 世纪初德国心理学学派,「整体大于部分之和」 20 世纪初 公共知识;是 ① 的名字来源
- ④ 其他同名 iOS 上的 MobileGestalt 编辑器 GestaltX、同名公路车、格式塔疗法培训等 各自不同 搜索噪声,与模型无关
- 截至 2026-11-20,没有任何一方公开确认 ① 与 ② 存在关联。 本文档不参与指认、不做身份猜测,只把可核对的差异摆出来。① 主打图像生成与多模…
- 一句话记法:有论文、有 8B 基座、有 32 个交互 token、有九张表的,是本文档这个;只有 Elo 和一堆猜测的,是另一个。
- 来源 完整地址 本文档用途 核对状态 核对日期
- 官方项目主页 https://gewu-lab.github.io/Gestalt/ 项目定位、架构、训练数据、全部评测表格 已核对 2026-11-2…
- 论文摘要页 https://arxiv.org/abs/2610.00576 标题、作者、摘要、版本日期、页数、DOI 已核对 2026-11-20
- 论文全文(HTML) https://arxiv.org/html/2610.00576v2 基座、32 个交互 token、前 4 层 Zone I、…
- 代码仓库 https://github.com/GeWu-Lab/Gestalt 快速上手、推理命令、数据格式、引用、许可证、更新动态 已核对 2026…
- 模型权重 https://huggingface.co/GeWu-Lab/Gestalt 权重下载(官方项目页与 README 均指向此处) 本机网络未…
- 在线 Demo https://huggingface.co/spaces/hugging-apps/gestalt 官方项目页 Demo 入口 本机网…
- 论文 DOI https://doi.org/10.48550/arXiv.2610.00576 arXiv 签发的 DOI 已核对(由 arXiv 页…
- 同名匿名设计模型榜单 https://contralabs.com/frontierdesign/leaderboard 仅用于同名辨析,与本站主体无关…
- 链接一律给完整 https:// 地址,复制即可用。「本机网络未核实」是如实记录建站时的网络情况,不代表链接失效。
- 版权口径 :不搬运官方示意图、示例生成图、机构标识、微信群二维码;站内几何图示与三角形标识均为自绘并标注依据;色值取官方既有三色仅作语义呼应。
- 内容域 本文档章节 站点页面
- 身份与来源 模型概览 · 一手来源 首页、模型概览、一手来源、关于本站
- 论文逐章与形式化目标 论文精读 论文精读
- 金字塔 / Zone I-II / 交互 token 方法与架构 首页、方法与架构
- 训练数据、四类交互、清洗流程 数据与训练 数据与训练
- 训练配置全参数、依赖、启动脚本 数据与训练 数据与训练、上手与资源、仓库结构
- 主结果五张表 评测数据 评测数据
- 表征 / 课程 / 遥感 / 定性 分析实验 分析实验
- 评测基准与参评模型 术语与词典 术语与词典
- 代码仓库结构与文件清单 上手与资源 仓库结构、上手与资源
- 快速上手、数据格式、引用 上手与资源 上手与资源
- 术语、常见问题、作者分工 术语与词典 / 常见问题 术语与词典、常见问题、模型概览
- 同名辨析、时间线、许可证缺口 附录 同名辨析、关于本站、内容全集
- 首页 ( index.html )—— 模型档案、金字塔示意、已核实 / 待核实双栏、关键数字、时间线
- 模型概览 ( overview/index.html )—— 全称、机构、11 位作者与分工、名字来源、四个官方入口、发布节奏
- 方法与架构 ( method/index.html )—— 金字塔三层、Zone I / Zone II、32 个交互 token、离散扩散、三阶段课程
- 数据与训练 ( data-training/index.html )—— 三阶段数据、13.7M 四类构成、清洗流程、Stage-III 全参数、依赖与…
- 评测数据 ( benchmarks/index.html )—— 论文 Table 1 / 2 / 3 / 5 / 6 五张主评测表全量数字与读法
- 分析实验 ( analysis/index.html )—— Table 4 / 8 / 9 三张补充表、表征可视化、交互 token 分析、定性与讨论
- 上手与资源 ( quickstart/index.html )—— 环境、权重、两类推理、训练、数据格式、引用、许可证提示
- 论文精读 ( paper/index.html )—— v2 逐章要点、九张表位置对照、48 条参考文献题录
- 仓库结构 ( repo/index.html )—— 官方仓库主要文件、三类任务与脚本映射、模型实现模块、元数据
- 术语与词典 ( glossary/index.html )—— 26 条核心术语、20 个基准、14 组参评模型、作者与机构编号
- 常见问题 ( faq/index.html )—— 15 个高频问题与「不推测」的回答口径
- 内容全集索引 ( contents/index.html )—— 全站页面清单、覆盖对照、覆盖边界与官方未给项
- 同名辨析 ( samename/index.html )—— 四个同名对象对照与常见误认的成因
- 一手来源 ( sources/index.html )—— 全部官方链接、用途、核对状态与版权口径
- 关于本站 ( about/index.html )—— 非官方声明、编辑原则、置信度分级、标识与免责
- 中文图解 ( diagrams/index.html )—— 8 张自绘中文示意图:金字塔、两个 Zone、四类交互、数据构成、三阶段课程、主评测、表征…
- 全站搜索 ( search/index.html )—— 全站条目静态索引,可按关键词本地过滤;不联网、不记录输入
- 完整文档 ( handbook/index.html )—— 《Gestalt 内容全集》25 章单页长文,与站点同源同数,附原文下载
- 上游变更日志 ( changelog/index.html )—— 上游一手来源的自动快照比对、当前指标、变化记录与未核实项
- 统一两栏 :19 页一律「左栏 272px + 右主区」,主区实测宽度一致,不再有窄页 / 宽页两套版式;窄屏自动改为上下单栏,导航与索引一律全开、用两…
- 左栏全开 :分组导航 19 页与 19 页 / 25 章静态索引默认全部展开,左栏不设独立上下拖动条,随页面整体滚动;禁用脚本时这些条目仍可直接读到。
- 搜索入口与结果 :左栏顶部搜索框每页都有,旁边只有一个「搜」按钮,点它或按回车才检索,不在输入过程中改动正文;结果整块显示在右侧主区,按命中权重排序并高…
- 索引覆盖 :构建时逐块抽取 19 页真实 HTML 的章节、段落、表格行、图注与代码,每条带唯一锚点,点结果直达对应段落;加上 274 条结构化条目,共…
- 分词口径 :英文与数字整词保留(如 LLaDA-8B-Instruct 、 0.99677 );中文取整词 + 二元切分(bigram),中英连写自动拆…
- 边界 :只做字面匹配,不做语义检索;不联网、不记录输入、不写存储;全站唯一两个外部脚本分别是静态索引数据与本地检索增强,主体内容始终直接写在 HTML …
- 已全量收录 :论文 v2 的 1–5 节与附录 6、7 全部要点;九张表所有数字;48 条参考文献题录;官方项目主页四节评测表;仓库 README 全部…
- 只转述不搬运 :论文正文段落、官方示例图、官方示意图、机构标识、微信群二维码。站内 8 张几何图示均自绘并标注依据。
- 不覆盖 :权重文件内容、SFT 数据集本体、在线 Demo 的实际输出、第三方复现结果、社区身份猜测。
- 工具页不算新事实 :中文图解、全站搜索、完整文档(本文件的在线版)与上游变更日志,都是把已收录内容换一种读法或做留痕,不引入新的模型结论。变更日志里的「…
- 许可证:README 写 Apache 2.0,但留有 TODO 待确认注释,仓库根目录无 LICENSE 文件
- SFT 数据:官方 README 写 SFT data coming soon,尚未放出
- 模型权重与在线 Demo:官方页与 README 均给出链接,本机网络未能访问 Hugging Face,未核对当前可访问性与下载量
- 论文没有给出参数量、interplay token 之外的层数分配细节与训练算力,本站不推测
- 官方项目页与 README 未标注最新维护状态;仓库最后推送为 2026-10-10
- 另外还有:Zone II 具体层数、32 个交互 token 的选取依据与消融、单次推理成本与耗时。
- 定时 :每天 09:00 跑一次 tools/news_watch.py publish ;全链路只在本地执行,服务器只接收最终静态产物,不跑采集、不跑…
- 官方一手 :GitHub 提交/Release、README News、arXiv Atom 版本与 HF 权重提交,与 data/news_basel…
- 第三方 :定时检索官方之外的报道、评论与同名动态,补录进同一份消息表。 一律标「待核实」或「仅留痕」 ,不写入首页「已核实」栏;同名设计模型的身份猜测只…
- 发布闸门 : publish 依次执行采集 → build.py 重建 → verify.py 验收 → deploy.py push 部署 → dep…
- 事实改动口径 :只有一手来源可核对的新事实才允许改 data/snapshot.json 与正文页,并同步核对日期;第三方消息不触发结论改动。没有新动作…
- 免密 :部署走本机专用密钥,定时任务无需保存或传递密码。
- 题录从论文 HTML 全文 References 段提取,保留作者、年份、标题与出处,去掉 LaTeX 转换残留的 Cited by 标记。完整原文见 …
- H. Liu, C. Li, Q. Wu, and Y. J. Lee (2023) Visual instruction tuning. Advanc…
- S. Bai, K. Chen, X. Liu, J. Wang, W. Ge, S. Song, K. Dang, P. Wang, S. Wang,…
- Kimi Team et al. (2026) Kimi K3: open frontier intelligence. arXiv:2607.2465…
- B. E. Stein and M. A. Meredith (1993) The merging of the senses. MIT press.
- M. S. Gazzaniga, R. B. Ivry, and G. R. Mangun (2011) Cognitive neuroscience:…
- X. Tang, J. Wu, and Y. Shen (2016) The interactions of multisensory integrat…
- W. Köhler (1967) Gestalt psychology. Psychologische forschung 31 ( 1 ), pp. …
- F. Shi, Z. Luo, Y. Ge, Y. Yang, Y. Shan, and L. Wang (2025) Scalable image t…
- S. Nie, F. Zhu, Z. You, X. Zhang, J. Ou, J. Hu, J. Zhou, Y. Lin, J. Wen, and…
- X. An, Y. Xie, K. Yang, W. Zhang, X. Zhao, Z. Cheng, Y. Wang, S. Xu, C. Chen…
- J. Guo, T. Zheng, Y. Li, Y. Bai, B. Li, Y. Wang, K. Zhu, G. Neubig, W. Chen,…
- L. Wiedmann, O. Zohar, A. Mahla, X. Wang, R. Li, T. Frere, L. von Werra, A. …
- W. Wang, Z. Gao, L. Gu, H. Pu, L. Cui, X. Wei, Z. Liu, L. Jing, S. Ye, J. Sh…
- K. Zou, Z. Zhao, B. Liu, and N. Yu (2026) Advancing aesthetic image generati…
- J. Chen, Z. Cai, P. Chen, S. Chen, K. Ji, X. Wang, Y. Yang, and B. Wang (202…
- J. Chen, Z. Xu, X. Pan, Y. Hu, C. Qin, T. Goldstein, L. Huang, T. Zhou, S. X…
- J. Betker, G. Goh, L. Jing, T. Brooks, J. Wang, L. Li, L. Ouyang, J. Zhuang,…
- B. F. Labs (2024) FLUX. Note: https://github.com/black-forest-labs/flux
- C. Deng, D. Zhu, K. Li, C. Gou, F. Li, Z. Wang, S. Zhong, W. Yu, X. Nie, Z. …
- X. Chen, Z. Wu, X. Liu, Z. Pan, W. Liu, Z. Xie, X. Yu, and C. Ruan (2025) Ja…
- Y. Wang, Z. Li, Y. Zang, J. Bu, Y. Zhou, Y. Xin, J. He, C. Wang, Q. Lu, C. J…
- X. Wei, J. Zhang, Z. Wang, H. Wei, Z. Guo, and L. Zhang (2025) TIIF-bench: h…
- C. Fu, P. Chen, Y. Shen, Y. Qin, M. Zhang, X. Lin, J. Yang, X. Zheng, K. Li,…
- D. A. Hudson and C. D. Manning (2019) GQA: a new dataset for real-world visu…
- L. Chen, J. Li, X. Dong, P. Zhang, Y. Zang, Z. Chen, H. Duan, J. Wang, Y. Qi…
- Y. Li, Y. Du, K. Zhou, J. Wang, X. Zhao, and J. Wen (2023) Evaluating object…
- xAI (2024) Grok-1.5 vision preview. Note: https://x.ai/news/grok-1.5v Access…
- S. Tong, Z. Liu, Y. Zhai, Y. Ma, Y. LeCun, and S. Xie (2024) Eyes wide shut?…
- S. Tong, E. Brown, P. Wu, S. Woo, M. Middepogu, S. C. Akula, J. Yang, S. Yan…
- L. Yang, Y. Tian, B. Li, X. Zhang, K. Shen, Y. Tong, and M. Wang (2026) Mmad…
- Y. Xin, Q. Qin, S. Luo, K. Zhu, J. Yan, Y. Tai, J. Lei, Y. Cao, K. Wang, Y. …
- S. Li, K. Kallidromitis, H. Bansal, A. Gokul, Y. Kato, K. Kozuka, J. Kuen, Z…
- Z. You, S. Nie, X. Zhang, J. ZHOU, Z. Lu, J. Wen, and C. Li (2026) Llada-v: …
- L. Li, Z. Long, Y. Shen, H. Gao, H. Cao, X. Sun, C. Shan, R. He, and C. Fu (…
- Y. Onoe, S. Rane, Z. Berger, Y. Bitton, J. Cho, R. Garg, A. Ku, Z. Parekh, J…
- J. Xie, Z. Yang, and M. Z. Shou (2026) Show-o2: improved native unified mult…
- Y. Miao, Z. Yang, Y. Wei, Z. Chen, H. Ni, H. Duan, K. Chen, and D. Hu (2026)…
- Y. Li, Q. Gao, T. Zhao, B. Wang, H. Sun, H. Lyu, R. D. Hawkins, N. Vasconcel…
- J. Arevalo, T. Solorio, M. Montes-y-Gómez, and F. A. González (2017) Gated m…
- I. Stogiannidis, S. McDonagh, and S. A. Tsaftaris (2025) Mind the gap: bench…
- S. Zhao, X. Zhang, J. Guo, J. Hu, L. Duan, M. Fu, Y. X. Chng, G. Wang, Q. Ch…
- C. Team (2024) Chameleon: mixed-modal early-fusion foundation models. arXiv …
- X. Wang, X. Zhang, Z. Luo, Q. Sun, Y. Cui, J. Wang, F. Zhang, Y. Wang, Z. Li…
- R. Yu, X. Ma, and X. Wang (2025) Dimple: discrete diffusion multimodal large…
- C. Zhou, L. Yu, A. Babu, K. Tirumala, M. Yasunaga, L. Shamis, J. Kahn, X. Ma…
- J. Xie, W. Mao, Z. Bai, D. J. Zhang, W. Wang, K. Q. Lin, Y. Gu, Z. Chen, Z. …
- A. Aghajanyan, L. Yu, A. Conneau, W. Hsu, K. Hambardzumyan, S. Zhang, S. Rol…
- J. Luo, Z. Pang, Y. Zhang, T. Wang, L. Wang, B. Dang, J. Lao, J. Wang, J. Ch…
- 文档结束 · 本站/本文档最后核对 2026-11-20 · 内容是对公开资料的非官方整理,可能滞后或有疏漏,不构成使用建议、授权结论或性能承诺。涉及许…
- 文档由 tools/make_doc.py 生成、 tools/md2html.py 转成静态 HTML;正文、表格与目录全部写在源码里,无脚本。最后核…
上游变更日志(63 条)
- 官方那头,最近有没有变
- 本站的数字是一次人工核对的快照,不代表上游永远不变。这一页由本地工具定期抓取一手来源的元数据、内容指纹与官方动态,也把检索到的第三方消息留痕,和上一次比…
- 最新消息(官方 / 第三方)
- 日期 类别 消息 状态
- 2026-11-21 第三方 · 聚合报道 IT之家 11 月 21 日转述设计榜结果,报道仍标注匿名模型开发方未公开 腾讯新闻转载 IT之家 2026…
- 2026-11-20 第三方 · 同名辨析 Contra Labs 设计榜出现匿名 Gestalt(stealth),与本站主体同名 Contra La…
- 2026-11-20 第三方 · 榜单口径 设计榜出现 1928 / 1931 两版分数与多套票数口径 Contra 发布稿为 1928 Elo、89%…
- 2026-11-20 第三方 · 误读提醒 中文自媒体出现断言式认领文章,无一手证据 部分公众号把匿名设计模型指认为人大高瓴 GeWu-Lab、上海人工…
- 2026-11-20 第三方 · 辨析佐证 第三方深度调研:学术版与榜单版是同名不同物 调研文写出 arXiv:2610.00576 是 8B 级开源研…
- 2026-10-11 官方 · 团队解读 人大高瓴发布 Gestalt 团队解读长文:命名来源与研究脉络 院方公众号长文解释「整体大于部分之和」的命名由…
- 2026-10-08 官方 · 论文 论文版本 v2(更新于 2026-10-08) arXiv Atom 返回的当前版本;换版不等于结论变化,是否改正…
- 2026-10-03 第三方 · 论文评论 第三方 AI 审稿:两区段设计的核心主张缺消融验证 Pith.science 的 AI 评审页指出,论文把「…
- 2026-10-03 官方 · 代码仓库 仓库提交:Update README.md GitHub Commits API 记录的新提交 a385cfc…
- 2026-10-03 官方 · 待办提示 官方 README 预告 SFT 数据即将放出(原文未标日期) README 写了 coming soon 但…
- 2026-10-02 第三方 · 论文聚合 第三方论文聚合站收录 arXiv:2610.00576 并生成中文摘要 PulseAugur 等聚合站按 c…
- 2026-10-02 官方 · 代码仓库 仓库提交:Update README.md GitHub Commits API 记录的新提交 43f6df3…
- 2026-10-02 官方 · 官方公告 官方放出 arXiv 论文 官方仓库 README 的 News 条目(中文转述,原文点回来源可核对)。 已核…
- 2026-09-30 官方 · 代码仓库 仓库提交:Fix remaining smart-quote in case.jpg width attrib…
- 2026-09-30 官方 · 官方公告 官方放出模型权重与训练 / 推理代码 官方仓库 README 的 News 条目(中文转述,原文点回来源可核对…
- 指标 当前值 状态 一手来源
- 代码仓库 Star 数 33 已核对 来源 ↗
- 代码仓库 Fork 数 5 已核对 来源 ↗
- 开放 Issue 数 4 已核对 来源 ↗
- 仓库最后推送 2026-10-10T15:14:16Z 已核对 来源 ↗
- 默认分支 main 已核对 来源 ↗
- 仓库体积(KB) 19744 已核对 来源 ↗
- 仓库许可证字段 无(字段为 null) 已核对 来源 ↗
- 仓库文件总数 44 已核对 来源 ↗
- README 内容指纹 26c8f4a6870b 已核对 来源 ↗
- 论文标题 Gestalt: Large Multimodal Interplay Model 已核对 来源 ↗
- 论文首次提交 2026-09-30 已核对 来源 ↗
- 论文最后更新 2026-10-08 已核对 来源 ↗
- 官方项目页内容指纹 7455fd72ee3b30ed(60229 字节) 已核对 来源 ↗
- 论文 HTML 内容指纹 未核实 本机网络未核实 来源 ↗
- 权重月下载量 未核实 本机网络未核实 来源 ↗
- 权重收藏数 未核实 本机网络未核实 来源 ↗
- 权重最后修改 未核实 本机网络未核实 来源 ↗
- Demo 收藏数 未核实 本机网络未核实 来源 ↗
- Demo 运行状态 未核实 本机网络未核实 来源 ↗
- 时间 类型 项目 变化 说明
- 2026-11-21 09:12 变化 代码仓库 Star 数 28 → 33 上游数据变动,已同步基线;正文若引用该数字需人工复核
- 2026-11-21 09:12 变化 代码仓库 Fork 数 3 → 5 上游数据变动,已同步基线;正文若引用该数字需人工复核
- 2026-11-21 09:12 变化 开放 Issue 数 2 → 4 上游数据变动,已同步基线;正文若引用该数字需人工复核
- 2026-11-20 21:42 变化 代码仓库 Star 数 27 → 28 上游数据变动,已同步基线;正文若引用该数字需人工复核
- 2026-11-20 21:42 变化 代码仓库 Fork 数 2 → 3 上游数据变动,已同步基线;正文若引用该数字需人工复核
- 2026-11-20 19:34 基线建立 全站上游快照 已记录 14 项可核对指标 首次运行,建立比对基线;正文数字仍以 2026-11-20 人工核…
- 论文 HTML 内容指纹:URLError: <urlopen error timed out>( 来源 ↗ )
- 权重月下载量:本机网络未能访问(HTTP 0)( 来源 ↗ )
- 权重收藏数:本机网络未能访问(HTTP 0)( 来源 ↗ )
- 权重最后修改:本机网络未能访问(HTTP 0)( 来源 ↗ )
- Demo 收藏数:本机网络未能访问(HTTP 0)( 来源 ↗ )
- Demo 运行状态:本机网络未能访问(HTTP 0)( 来源 ↗ )
- 最新消息采集:https://huggingface.co/GeWu-Lab/Gestalt/commits/main:本机网络未能访问,如实记未核实(…
- https://api.github.com/repos/GeWu-Lab/Gestalt
- https://api.github.com/repos/GeWu-Lab/Gestalt/git/trees/main?recursive=1
- https://arxiv.org/html/2610.00576v2
- https://export.arxiv.org/api/query?id_list=2610.00576
- https://gewu-lab.github.io/Gestalt/
- https://huggingface.co/api/models/GeWu-Lab/Gestalt
- https://huggingface.co/api/spaces/hugging-apps/gestalt
- python tools/news_watch.py collect # 抓官方动态 → data/news.json python tools/new…
- 全链路只在本地跑,服务器只接收最终静态产物;定时任务每天 09:00 执行一次。脚本用 Python 标准库,无第三方依赖;并发抓取并在超时时记为未核实…
- 本页内容来自本地快照比对结果,非官方发布渠道;最后核对 2026-11-20。相关: 一手来源索引 · 编辑原则 。
索引与正文同源:构建时从
data/ 快照、《Gestalt 内容全集》和渲染后的页面正文一并生成,改内容索引跟着变;最后核对 2026-11-20。