Gestalt 非官方模型资料站标识 Gestalt非官方模型资料站 · GESTALTX.ORG

非官方 · 与论文作者、GeWu-Lab 及各所属机构无关联 · 数据以官方页面为准,最后核对 2026-11-20

全站索引

全站内容,一页看全

左栏顶部的搜索框在每一个页面都有,能检索到全站正文:中文自动分词、英文整词、多个词并列。输入后点「搜」或按回车,结果列在右侧主区。本页是它的静态完整版——所有条目直接写在 HTML 源码里,禁用脚本也能展开或用浏览器查找,一条不少。

搜索怎么用

会分词

  • 中文按整词 + 二元切分:「训练数据」能命中「三阶段训练数据」「13.7M 指令数据构成」。
  • 英文与数字整词保留:LLaDA-8B-Instruct、0.99677、Table 8 都能直接搜。
  • 空格分隔多个词,需同时命中:例如「许可证 TODO」「Zone I 32」。
  • 输入后点「搜」或按回车,右侧主区按命中权重列出结果,标题高亮命中片段;点条目直达正文对应段落,点「返回本页内容」回到原页面。

边界

  • 只做字面匹配,不做语义检索、不联网、不记录输入、不调用任何外部服务。
  • 覆盖全站 19 页的章节、段落、表格行、图注与代码,外加 274 条结构化条目;不含图片内部文字与外链目标站点内容。
  • 禁用脚本时搜索框不响应,但下面两份静态索引完整可读;也可直接用 完整文档 一次读完全文。

结构化索引(274 条)

页面、文档章节、术语、基准、参评模型、常见问题、九张表、仓库文件、48 条文献、作者机构、训练参数与数据构成。

页面首页模型档案、金字塔示意、已核实 / 待核实双栏、关键数字、时间线
页面模型概览全称、机构、11 位作者与分工、名字来源、四个官方入口、发布节奏
页面方法与架构金字塔三层、Zone I / Zone II、32 个交互 token、离散扩散、三阶段课程
页面数据与训练三阶段数据、13.7M 四类构成、清洗流程、Stage-III 全参数、依赖与约束
页面评测数据论文 Table 1 / 2 / 3 / 5 / 6 五张主评测表全量数字与读法
页面分析实验Table 4 / 8 / 9 三张补充表、表征可视化、交互 token 分析、定性与讨论
页面上手与资源环境、权重、两类推理、训练、数据格式、引用、许可证提示
页面论文精读v2 逐章要点、九张表位置对照、48 条参考文献题录
页面仓库结构官方仓库主要文件、三类任务与脚本映射、模型实现模块、元数据
页面术语与词典26 条核心术语、20 个基准、14 组参评模型、作者与机构编号
页面常见问题15 个高频问题与「不推测」的回答口径
页面内容全集索引全站页面清单、覆盖对照、覆盖边界与官方未给项
页面同名辨析四个同名对象对照与常见误认的成因
页面一手来源全部官方链接、用途、核对状态与版权口径
页面关于本站非官方声明、编辑原则、置信度分级、标识与免责
页面中文图解8 张自绘中文示意图:金字塔、两个 Zone、四类交互、数据构成、三阶段课程、主评测、表征保留、课程消融
页面全站搜索全站条目静态索引,可按关键词本地过滤;不联网、不记录输入
页面完整文档《Gestalt 内容全集》25 章单页长文,与站点同源同数,附原文下载
页面上游变更日志上游一手来源的自动快照比对、当前指标、变化记录与未核实项
文档章节第 0 章 · 关于这份文档《Gestalt 内容全集》对应章节,可直接跳转
文档章节第 1 章 · 它是什么《Gestalt 内容全集》对应章节,可直接跳转
文档章节第 2 章 · 问题背景:从架构兼容到交互《Gestalt 内容全集》对应章节,可直接跳转
文档章节第 3 章 · 多模态交互金字塔《Gestalt 内容全集》对应章节,可直接跳转
文档章节第 4 章 · 统一离散扩散与形式化目标《Gestalt 内容全集》对应章节,可直接跳转
文档章节第 5 章 · 架构:两个 Zone 与交互 token《Gestalt 内容全集》对应章节,可直接跳转
文档章节第 6 章 · 训练数据《Gestalt 内容全集》对应章节,可直接跳转
文档章节第 7 章 · 三阶段课程与对照实验《Gestalt 内容全集》对应章节,可直接跳转
文档章节第 8 章 · Stage-III 训练配置全参数《Gestalt 内容全集》对应章节,可直接跳转
文档章节第 9 章 · 依赖与启动约束《Gestalt 内容全集》对应章节,可直接跳转
文档章节第 10 章 · 主评测:五张表全量数字《Gestalt 内容全集》对应章节,可直接跳转
文档章节第 11 章 · 补充表:表征空间与遥感迁移《Gestalt 内容全集》对应章节,可直接跳转
文档章节第 12 章 · 表征与交互 token 分析《Gestalt 内容全集》对应章节,可直接跳转
文档章节第 13 章 · 纯文本能力《Gestalt 内容全集》对应章节,可直接跳转
文档章节第 14 章 · 相关工作、讨论与致谢《Gestalt 内容全集》对应章节,可直接跳转
文档章节第 15 章 · 附录实验:定性与领域迁移《Gestalt 内容全集》对应章节,可直接跳转
文档章节第 16 章 · 代码仓库《Gestalt 内容全集》对应章节,可直接跳转
文档章节第 17 章 · 快速上手(逐条摘自官方 README)《Gestalt 内容全集》对应章节,可直接跳转
文档章节第 18 章 · 引用与许可证《Gestalt 内容全集》对应章节,可直接跳转
文档章节第 19 章 · 词典《Gestalt 内容全集》对应章节,可直接跳转
文档章节第 20 章 · 常见问题(15 条)《Gestalt 内容全集》对应章节,可直接跳转
文档章节第 21 章 · 同名辨析《Gestalt 内容全集》对应章节,可直接跳转
文档章节第 22 章 · 一手来源《Gestalt 内容全集》对应章节,可直接跳转
文档章节第 23 章 · 覆盖对照与边界《Gestalt 内容全集》对应章节,可直接跳转
文档章节第 24 章 · 参考文献(48 条)《Gestalt 内容全集》对应章节,可直接跳转
术语Multimodal Interplay / 多模态交互论文核心概念:信息可能只存在于单一模态、被多模态共享、或只在组合后才涌现,这三类关系合称交互。
术语Multimodal Interplay Pyramid / 多模态交互金字塔底层模态特有信息建模 → 中层跨模态冗余对齐 → 顶层多模态协同;同时约束架构、数据组织与训练顺序。
术语Modality-specific / 模态特有信息只有某一模态才知道的信息,如图像的颜色纹理、文本里的关系描述。
术语Redundancy / 冗余信息两种模态都提到的共有内容,用来建立跨模态对应关系。论文记作 R。
术语Synergy / 协同信息必须把互补线索合起来才能得到、任一单模态都给不出的结论。论文记作 S。
术语Uv / Ut论文记号:视觉特有信息(visual-unique)与文本特有信息(text-unique)。
术语Unified Discrete Diffusion / 统一离散扩散图像与文本共用离散 token 空间与同一个掩码预测目标,双向条件化,没有自回归的固定生成方向。
术语Masked Diffusion Objective论文公式 (1):对多模态序列随机掩码一组位置并重建对应 token,取负对数似然;双向条件化,无固定生成方向。
术语Joint Masked Prediction / 联合掩码预测预训练目标:视觉与文本 token 各自独立掩码、联合重建,学模态内结构与双向跨模态依赖。
术语Conditional Masked Prediction / 条件掩码预测CPT 与 SFT 目标:留一个模态可见,掩码并预测另一个,建立 vision↔text 双向条件依赖。
术语Interplay Token / 交互 token32 个可学习 token,作为视觉流与文本流的共享接口;Zone I 里中介交换,Zone II 里继续聚合任务相关信息。
术语Interplay Zone I / 瓶颈交互区前 4 层 Transformer;视觉与文本各走独立 FFN,跨模态直连注意力受限,只能经交互 token 交换。
术语Interplay Zone II / 全模态交互区Zone I 之后的其余层;全模态自注意力 + 共享 FFN,三类 token 直接互通。
术语Preserve-then-integrate论文对两个 Zone 合起来作用的概括:先保住模态特有表征,再做完全整合。
术语IBQ / Index Backpropagation Quantization图像 tokenizer,固定 VQ-VAE 编码器,码本 16,384 项;论文引用 ICCV 2025 的工作。
术语VQ-VAE token图像被压缩成的离散 ID。推理时 run_t2i.py 输出的就是它,不是图片文件。
术语MRoPE / interleaved MRoPE交错多维旋转位置编码,用来在共享序列里保留图像 token 的二维空间位置。
术语LLaDA-8B-Instruct基座模型:掩码扩散语言模型,双向注意力;Gestalt 从这里初始化。
术语CPT / Continual Pretraining持续预训练,8M 图文对,条件掩码预测。
术语SFT / Supervised Fine-Tuning指令微调,13.7M 四类交互样本 + 约 2.5M 文生图样本,三阶段课程。
术语Interplay-Oriented Curriculum三阶段课程:四类数据全程保留,只调采样比例,重心从冗余/文本 → 视觉特有 → 协同。
术语CKACentered Kernel Alignment,衡量两组表征结构的相似度,Table 4 用来衡量语言空间保留程度。
术语ZeRO-2DeepSpeed 的优化器状态与梯度分片策略,仓库默认配置。
术语ParquetStage-III 训练数据的文件格式,统一 schema 覆盖 i2t / t2i / i2i 三类任务。
术语MMUMultimodal Understanding,多模态理解;推理脚本 run_mmu.py 对应这一类任务。
术语T2I / I2T / I2I文生图 / 图生文 / 图生图,对应数据格式里的 task_type 三种取值。
评测基准UniGenBench细粒度文生图 · 属性、动作、空间关系、组合、逻辑推理等 11 个分项;官方表为 English Long 设置。
评测基准TIIF-Bench复杂指令遵循的文生图 · 短 / 长两种提示,Overall、Basic、Advanced、Designer 四组指标。
评测基准MME-P多模态理解(感知) · MME 的感知分项,分数为千量级;Table 3 中 BAGEL 1687.0 高于 Gestalt 1600.2。
评测基准GQA真实场景视觉推理与组合式问答 · Table 3 的通用 VQA 组。
评测基准MMStar-P多模态感知 · MMStar 的 Perception 分项;课程消融表也用它做细粒度感知指标。
评测基准POPE物体幻觉 · 判断模型是否幻觉出不存在的物体。
评测基准RWQA / RealworldQA真实世界场景问答 · Table 3 的通用 VQA 组。
评测基准MMVP视觉中心感知 · 专门暴露多模态大模型视觉短板的基准。
评测基准CV-Bench 2D / 3D视觉中心理解 · Table 3 里 Gestalt 78.9 / 86.1,均超过 BAGEL 的 77.7 / 84.2。
评测基准MMLU纯文本知识与推理 · 5-shot。
评测基准TruthfulQA文本真实性与抗误导 · 5-shot,报 MC2。
评测基准WinoGrande commonsense 指代消解 · 5-shot。
评测基准HellaSwag常识续写 · 0-shot。
评测基准ARC-E / ARC-C科学问答 Easy / Challenge · 0-shot;Gestalt 在这两项提升最大(+15.57 / +15.02)。
评测基准MIB-V / MIBench-Visual视觉特有信息能力 · Table 6 的视觉类指标;LLaDA-o 60.31 略高于 Gestalt 59.89。
评测基准CoreCog-SM基础感知运动认知 · CoreCognition 的 Sensorimotor 子集。
评测基准MM-IMDb跨模态协同 · 电影多模态分类,需联合图文信息;Gestalt 67.07,领先幅度 +15.53。
评测基准SRBench空间关系推理 · 协同类指标;Gestalt 53.17。
评测基准DOCCI表征可视化数据源 · 不是评分基准;3.3 节用它取图文对做第 24 层表征可视化。
评测基准FGRS / FGRC遥感细粒度识别 / 关系推理 · 附录 7.2 的领域迁移评测。
参评模型DALL-E-3 / SD-3.5-Large / OmniGen2生成专用 · UniGenBench 参照组。
参评模型PixArt-Sigma / FLUX.1 Pro / MidJourney V7 / SD 3.5 Large生成专用 · TIIF-Bench 参照组。
参评模型Emu3统一 · 自回归 · next-token prediction 路线;UniGenBench 50.95。
参评模型Show-o2统一 · 混合 · 改进版原生统一模型;纯文本 MMLU 71.70,为 Table 5 全表最高。
参评模型Janus-Pro统一 · 自回归 · 理解与生成统一;TIIF / 纯文本参照。
参评模型BAGEL统一 · 自回归 · Table 3 唯一的 AR 参照,MME-P 1687.0 为全表最高。
参评模型MMaDA统一 · 扩散 · 多模态大扩散语言模型。
参评模型Lumina-DiMOO统一 · 扩散 · Table 1 统一组最高 71.81;Table 4 表征偏移最大。
参评模型LaViDA-o / LaViDa-O统一 · 扩散 · 论文两处大小写不一致,本站照录原表写法。
参评模型LLaDA-o统一 · 扩散 · Table 6 的 MIB-V 60.31 略高于 Gestalt。
参评模型Omni-diffusion统一 · 扩散 · 掩码离散扩散统一模型。
参评模型Qwen3.8-9B-Distill统一 · 自回归(对照) · 3.3 节表征可视化对照;因无官方 9B checkpoint,论文改用蒸馏版并给出脚注说明。
参评模型GeoChat / SkySenseGPT遥感专用 · 附录 7.2 的领域参照;SkySenseGPT 用 1.415M 遥感样本。
参评模型Kimi K3 / Qwen 3.8 / LLaVA / Qwen2.5-VL引言提及 · 用于说明「架构兼容 → 数据兼容」的演进,不在评测表里。
常见问题这个中文站是官方的吗?不是。本站是第三方中文整理,与论文作者、GeWu-Lab 及各所属机构无关联,不提供模型调用,也不托管权重。
常见问题为什么中文网上有完全不同的两个 Gestalt?至少四个同名对象:本模型、匿名 stealth 设计模型、格式塔心理学、其他同名产品。中文圈常把本模型误当成匿名设计模型的出处,无任何公开确认。看同名辨析页。
常见问题模型有多大?参数量多少?官方只写基座 LLaDA-8B-Instruct,论文、主页、README 都没有给出 Gestalt 自身参数量、训练算力与耗时。本站不推测。
常见问题能直接体验吗?官方主页给了 Hugging Face Space Demo 链接,但本站建站时本机网络访问 Hugging Face 未成功,因此不写「可正常体验」,只原样列完整地址。请以官方页面当前状态为准。
常见问题许可证是 Apache 2.0 吗?README 这么写,但同一句后留着 TODO: confirm license,仓库根目录没有 LICENSE 文件,GitHub API 的 license 字段也为空。本站按「待核实」处理,商用或二次分发请自行向官方确认。
常见问题论文是 CC BY 4.0 吗?arXiv 页面标注 CC BY 4.0。本站只做要点转述与数字照录,不整段搬运论文正文。
常见问题SFT 数据能下载吗?README 写 SFT data coming soon,截至 2026-11-20 核对日尚未放出。
常见问题交互 token 为什么是 32 个?论文只说使用 32 个可学习交互 token,没有给出取这个数目的消融或理由。本站不补解释。
常见问题Zone II 有多少层?Figure 2 把两区段写作 N1 / N2 层,正文只明确前 4 层为 Zone I,未给 N2 数值。本站不推测。
常见问题为什么 13.7M 之外还有 2.5M?13.7M 是理解与纯文本指令样本;另收 2.46M 文生图样本(官方约写作 2.5M),大致均匀分布到三个阶段,不参与四类交互的课程划分。
常见问题三阶段课程真的比均匀混合好吗?不是无条件更好。论文 Table 8 显示它改变的是能力出现的顺序:早期 MME-P +113.8 但 MMStar-P -4.44,到阶段 3 反转。论文原文是 progressively reshapes,不是 uniformly improves。
常见问题Gestalt 是不是「全面超越」其他模型?不是。Table 3 的 MME-P(BAGEL 1687.0 > 1600.2)、Table 5 的 MMLU(Show-o2 71.70 > 49.50)、Table 6 的 MIB-V(LLaDA-o 60.31 > 59.89)、Table 1 的 Text(3.80)都不是第一。官方措辞带「在参评模型中」的限定。
常见问题为什么文生图推理输出的是 .npy 而不是图片?run_t2i.py 输出的是 VQ-VAE 离散 token;要得到图片还需经过解码环节。README 给的就是这条命令与这个输出。
常见问题训练时最容易踩的坑是什么?checkpoint 目录必须含 tokenizer.json;Parquet 文件数不能少于分布式进程数;T2I 默认空 system prompt,若训练数据用了固定非空系统提示词,推理时要通过 --system-prompt 传同一段文字。
常见问题发现数字对不上怎么办?先看核对日期与来源。官方页面与仓库可能更新,本站所有数字带「最后核对」时间戳;以官方原文为准,本站按「改错留痕」原则修订。
论文表格一、细粒度文生图 · UniGenBench官方描述:Gestalt 在参评模型中取得最高总分,兼顾细粒度语义对齐与组合式生成。下表为英文长提示设置。
论文表格二、长短指令文生图 · TIIF-Bench官方描述:短、长指令两类设置下均领先,长提示引入更多相互依赖的要求时优势更大。四组指标各分短/长两列。
论文表格三、多模态理解官方描述:视觉为中心的任务上增益更明显,反映在统一模型里保留模态特有信息的价值。
论文表格四、纯文本能力官方描述:在参评的扩散式统一模型中整体领先,语言表现与 Janus-Pro 等自回归模型相当。
论文表格五、视觉特有与协同能力官方描述:视觉特有表现与协同类指标相配,在参评的扩散式模型中取得领先的协同结果。
补充表格补充表 A · 语言表征空间的偏移与保留(论文 Table 4)以预训练 LLaDA 为参照,衡量两种多模态适配范式对语言嵌入空间的改动。Norm / Distance 看分布偏移,Cosine Sim. / CKA 看结构保留。数值照录论文 Table 4。
补充表格补充表 B · 13.7M 指令数据的构成(论文 Table 7)附录 6.2 把 13.7M 指令样本按主导交互类型组织。R=冗余、Uv=视觉特有、Ut=文本特有、S=协同。样本数与占比照录 Table 7。
补充表格补充表 C · 三阶段课程的对照实验(论文 Table 8)从同一 CPT checkpoint 出发、只用 10% SFT 数据,比较「全程均匀混合」与「按交互类型排课程」。U=Uniform,C=Curriculum,Diff.=C 减 U。数字照录 Table 8。
补充表格补充表 D · 遥感领域迁移(论文 Table 9)只向训练混合里加入 5 万条 FIT 遥感 VQA 样本,考察模型吸收新视觉域知识的效率。FGRS 考细粒度识别,FGRC 考物体与区域间的关系推理。
仓库文件README.md项目说明、News、架构、训练、Quick Start、数据格式、引用、许可证、作者分工
仓库文件archive/Gestalt.pdf论文 PDF 归档
仓库文件assets/官方标识、金字塔、架构图、评测图、示例图、微信群二维码(本站不搬运)
仓库文件configs/training/gestalt_stage_3.yamlStage-III SFT 全部超参
仓库文件configs/deepspeed/zero_stage2.jsonZeRO-2 配置
仓库文件gestalt/data/datasets.py数据集定义
仓库文件gestalt/data/stage3.py第三阶段数据加载
仓库文件gestalt/model/builder.py模型构建
仓库文件gestalt/model/config.py配置读取
仓库文件gestalt/model/configuration_llada.pyLLaDA 配置
仓库文件gestalt/model/flex_attention.py灵活注意力(Zone I 受限交换相关)
仓库文件gestalt/model/modeling_gestalt.pyGestalt 主体模型
仓库文件gestalt/model/modeling_llada.pyLLaDA 基座模型
仓库文件gestalt/model/mrope.py交错 MRoPE 位置编码
仓库文件gestalt/model/templates.py提示词模板
仓库文件gestalt/training/trainer.py训练器
仓库文件scripts/training/gestalt_sft.shStage-III 启动脚本(torchrun)
仓库文件scripts/training/train_stage3.pyStage-III 训练入口
仓库文件scripts/inference/run_mmu.py多模态理解推理
仓库文件scripts/inference/run_t2i.py文生图推理(输出 VQ-VAE token)
仓库文件requirements.txt13 项依赖,含版本
参考文献[1] H. Liu, C. Li, Q. Wu, and Y. J. Lee (2023) Visual instruction tuning. H. Liu, C. Li, Q. Wu, and Y. J. Lee (2023) Visual instruction tuning. Advances in neural information processing systems
参考文献[2] S. Bai, K. Chen, X. Liu, J. Wang, W. Ge, S. Song, K. Dang, P. Wang, S.S. Bai, K. Chen, X. Liu, J. Wang, W. Ge, S. Song, K. Dang, P. Wang, S. Wang, J. Tang, H. Zhong, Y. Zhu, M. Yang, Z. Li,
参考文献[3] Kimi Team et al. (2026) Kimi K3: open frontier intelligence. arXiv:260Kimi Team et al. (2026) Kimi K3: open frontier intelligence. arXiv:2607.24653.
参考文献[4] B. E. Stein and M. A. Meredith (1993) The merging of the senses. MIT pB. E. Stein and M. A. Meredith (1993) The merging of the senses. MIT press.
参考文献[5] M. S. Gazzaniga, R. B. Ivry, and G. R. Mangun (2011) Cognitive neuroscM. S. Gazzaniga, R. B. Ivry, and G. R. Mangun (2011) Cognitive neuroscience: the biology of the mind. W. W. Norton.
参考文献[6] X. Tang, J. Wu, and Y. Shen (2016) The interactions of multisensory inX. Tang, J. Wu, and Y. Shen (2016) The interactions of multisensory integration with endogenous and exogenous attention.
参考文献[7] W. Köhler (1967) Gestalt psychology. Psychologische forschung 31 ( 1 )W. Köhler (1967) Gestalt psychology. Psychologische forschung 31 ( 1 ), pp. XVIII–XXX.
参考文献[8] F. Shi, Z. Luo, Y. Ge, Y. Yang, Y. Shan, and L. Wang (2025) Scalable iF. Shi, Z. Luo, Y. Ge, Y. Yang, Y. Shan, and L. Wang (2025) Scalable image tokenization with index backpropagation quant
参考文献[9] S. Nie, F. Zhu, Z. You, X. Zhang, J. Ou, J. Hu, J. Zhou, Y. Lin, J. WeS. Nie, F. Zhu, Z. You, X. Zhang, J. Ou, J. Hu, J. Zhou, Y. Lin, J. Wen, and C. Li (2026) Large language diffusion model
参考文献[10] X. An, Y. Xie, K. Yang, W. Zhang, X. Zhao, Z. Cheng, Y. Wang, S. Xu, CX. An, Y. Xie, K. Yang, W. Zhang, X. Zhao, Z. Cheng, Y. Wang, S. Xu, C. Chen, D. Zhu, et al. (2025) Llava-onevision-1.5:
参考文献[11] J. Guo, T. Zheng, Y. Li, Y. Bai, B. Li, Y. Wang, K. Zhu, G. Neubig, W.J. Guo, T. Zheng, Y. Li, Y. Bai, B. Li, Y. Wang, K. Zhu, G. Neubig, W. Chen, and X. Yue (2025) Mammoth-vl: eliciting mul
参考文献[12] L. Wiedmann, O. Zohar, A. Mahla, X. Wang, R. Li, T. Frere, L. von WerrL. Wiedmann, O. Zohar, A. Mahla, X. Wang, R. Li, T. Frere, L. von Werra, A. R. Gosthipaty, and A. Marafioti (2025) Finev
参考文献[13] W. Wang, Z. Gao, L. Gu, H. Pu, L. Cui, X. Wei, Z. Liu, L. Jing, S. Ye,W. Wang, Z. Gao, L. Gu, H. Pu, L. Cui, X. Wei, Z. Liu, L. Jing, S. Ye, J. Shao, et al. (2025) Internvl3. 5: advancing op
参考文献[14] K. Zou, Z. Zhao, B. Liu, and N. Yu (2026) Advancing aesthetic image geK. Zou, Z. Zhao, B. Liu, and N. Yu (2026) Advancing aesthetic image generation via composition transfer. International J
参考文献[15] J. Chen, Z. Cai, P. Chen, S. Chen, K. Ji, X. Wang, Y. Yang, and B. WanJ. Chen, Z. Cai, P. Chen, S. Chen, K. Ji, X. Wang, Y. Yang, and B. Wang (2025) Sharegpt-4o-image: aligning multimodal mo
参考文献[16] J. Chen, Z. Xu, X. Pan, Y. Hu, C. Qin, T. Goldstein, L. Huang, T. ZhouJ. Chen, Z. Xu, X. Pan, Y. Hu, C. Qin, T. Goldstein, L. Huang, T. Zhou, S. Xie, S. Savarese, et al. (2025) Blip3-o: a fa
参考文献[17] J. Betker, G. Goh, L. Jing, T. Brooks, J. Wang, L. Li, L. Ouyang, J. ZJ. Betker, G. Goh, L. Jing, T. Brooks, J. Wang, L. Li, L. Ouyang, J. Zhuang, J. Lee, Y. Guo, W. Manassra, P. Dhariwal, C
参考文献[18] B. F. Labs (2024) FLUX. Note: https://github.com/black-forest-labs/fluB. F. Labs (2024) FLUX. Note: https://github.com/black-forest-labs/flux.
参考文献[19] C. Deng, D. Zhu, K. Li, C. Gou, F. Li, Z. Wang, S. Zhong, W. Yu, X. NiC. Deng, D. Zhu, K. Li, C. Gou, F. Li, Z. Wang, S. Zhong, W. Yu, X. Nie, Z. Song, et al. (2025) Emerging properties in u
参考文献[20] X. Chen, Z. Wu, X. Liu, Z. Pan, W. Liu, Z. Xie, X. Yu, and C. Ruan (20X. Chen, Z. Wu, X. Liu, Z. Pan, W. Liu, Z. Xie, X. Yu, and C. Ruan (2025) Janus-pro: unified multimodal understanding an
参考文献[21] Y. Wang, Z. Li, Y. Zang, J. Bu, Y. Zhou, Y. Xin, J. He, C. Wang, Q. LuY. Wang, Z. Li, Y. Zang, J. Bu, Y. Zhou, Y. Xin, J. He, C. Wang, Q. Lu, C. Jin, et al. (2025) UniGenBench++: a unified s
参考文献[22] X. Wei, J. Zhang, Z. Wang, H. Wei, Z. Guo, and L. Zhang (2025) TIIF-beX. Wei, J. Zhang, Z. Wang, H. Wei, Z. Guo, and L. Zhang (2025) TIIF-bench: how does your t2i model follow your instructi
参考文献[23] C. Fu, P. Chen, Y. Shen, Y. Qin, M. Zhang, X. Lin, J. Yang, X. Zheng, C. Fu, P. Chen, Y. Shen, Y. Qin, M. Zhang, X. Lin, J. Yang, X. Zheng, K. Li, X. Sun, et al. (2026) MME: a comprehensive
参考文献[24] D. A. Hudson and C. D. Manning (2019) GQA: a new dataset for real-worlD. A. Hudson and C. D. Manning (2019) GQA: a new dataset for real-world visual reasoning and compositional question answ
参考文献[25] L. Chen, J. Li, X. Dong, P. Zhang, Y. Zang, Z. Chen, H. Duan, J. Wang,L. Chen, J. Li, X. Dong, P. Zhang, Y. Zang, Z. Chen, H. Duan, J. Wang, Y. Qiao, D. Lin, et al. (2024) Are we on the righ
参考文献[26] Y. Li, Y. Du, K. Zhou, J. Wang, X. Zhao, and J. Wen (2023) Evaluating Y. Li, Y. Du, K. Zhou, J. Wang, X. Zhao, and J. Wen (2023) Evaluating object hallucination in large vision-language mode
参考文献[27] xAI (2024) Grok-1.5 vision preview. Note: https://x.ai/news/grok-1.5v xAI (2024) Grok-1.5 vision preview. Note: https://x.ai/news/grok-1.5v Accessed: 2026-05-20.
参考文献[28] S. Tong, Z. Liu, Y. Zhai, Y. Ma, Y. LeCun, and S. Xie (2024) Eyes wideS. Tong, Z. Liu, Y. Zhai, Y. Ma, Y. LeCun, and S. Xie (2024) Eyes wide shut? exploring the visual shortcomings of multim
参考文献[29] S. Tong, E. Brown, P. Wu, S. Woo, M. Middepogu, S. C. Akula, J. Yang, S. Tong, E. Brown, P. Wu, S. Woo, M. Middepogu, S. C. Akula, J. Yang, S. Yang, A. Iyer, X. Pan, A. Wang, R. Fergus, Y. L
参考文献[30] L. Yang, Y. Tian, B. Li, X. Zhang, K. Shen, Y. Tong, and M. Wang (2026L. Yang, Y. Tian, B. Li, X. Zhang, K. Shen, Y. Tong, and M. Wang (2026) Mmada: multimodal large diffusion language model
参考文献[31] Y. Xin, Q. Qin, S. Luo, K. Zhu, J. Yan, Y. Tai, J. Lei, Y. Cao, K. WanY. Xin, Q. Qin, S. Luo, K. Zhu, J. Yan, Y. Tai, J. Lei, Y. Cao, K. Wang, Y. Wang, et al. (2025) Lumina-dimoo: an omni di
参考文献[32] S. Li, K. Kallidromitis, H. Bansal, A. Gokul, Y. Kato, K. Kozuka, J. KS. Li, K. Kallidromitis, H. Bansal, A. Gokul, Y. Kato, K. Kozuka, J. Kuen, Z. Lin, K. Chang, and A. Grover (2026) Lavida
参考文献[33] Z. You, S. Nie, X. Zhang, J. ZHOU, Z. Lu, J. Wen, and C. Li (2026) LlaZ. You, S. Nie, X. Zhang, J. ZHOU, Z. Lu, J. Wen, and C. Li (2026) Llada-v: large language diffusion models with visual
参考文献[34] L. Li, Z. Long, Y. Shen, H. Gao, H. Cao, X. Sun, C. Shan, R. He, and CL. Li, Z. Long, Y. Shen, H. Gao, H. Cao, X. Sun, C. Shan, R. He, and C. Fu (2026) Omni-diffusion: unified multimodal und
参考文献[35] Y. Onoe, S. Rane, Z. Berger, Y. Bitton, J. Cho, R. Garg, A. Ku, Z. ParY. Onoe, S. Rane, Z. Berger, Y. Bitton, J. Cho, R. Garg, A. Ku, Z. Parekh, J. Pont-Tuset, G. Tanzer, et al. (2024) Docci
参考文献[36] J. Xie, Z. Yang, and M. Z. Shou (2026) Show-o2: improved native unifieJ. Xie, Z. Yang, and M. Z. Shou (2026) Show-o2: improved native unified multimodal models. Advances in Neural Informatio
参考文献[37] Y. Miao, Z. Yang, Y. Wei, Z. Chen, H. Ni, H. Duan, K. Chen, and D. Hu Y. Miao, Z. Yang, Y. Wei, Z. Chen, H. Ni, H. Duan, K. Chen, and D. Hu (2026) Mibench: evaluating lmms on multimodal inte
参考文献[38] Y. Li, Q. Gao, T. Zhao, B. Wang, H. Sun, H. Lyu, R. D. Hawkins, N. VasY. Li, Q. Gao, T. Zhao, B. Wang, H. Sun, H. Lyu, R. D. Hawkins, N. Vasconcelos, T. Golan, D. Luo, et al. (2024) Core kno
参考文献[39] J. Arevalo, T. Solorio, M. Montes-y-Gómez, and F. A. González (2017) GJ. Arevalo, T. Solorio, M. Montes-y-Gómez, and F. A. González (2017) Gated multimodal units for information fusion. arXi
参考文献[40] I. Stogiannidis, S. McDonagh, and S. A. Tsaftaris (2025) Mind the gap:I. Stogiannidis, S. McDonagh, and S. A. Tsaftaris (2025) Mind the gap: benchmarking spatial reasoning in vision-language
参考文献[41] S. Zhao, X. Zhang, J. Guo, J. Hu, L. Duan, M. Fu, Y. X. Chng, G. Wang,S. Zhao, X. Zhang, J. Guo, J. Hu, L. Duan, M. Fu, Y. X. Chng, G. Wang, Q. Chen, Z. Xu, et al. (2025) Unified multimodal
参考文献[42] C. Team (2024) Chameleon: mixed-modal early-fusion foundation models. C. Team (2024) Chameleon: mixed-modal early-fusion foundation models. arXiv preprint arXiv:2405.09818.
参考文献[43] X. Wang, X. Zhang, Z. Luo, Q. Sun, Y. Cui, J. Wang, F. Zhang, Y. Wang,X. Wang, X. Zhang, Z. Luo, Q. Sun, Y. Cui, J. Wang, F. Zhang, Y. Wang, Z. Li, Q. Yu, et al. (2024) Emu3: next-token pred
参考文献[44] R. Yu, X. Ma, and X. Wang (2025) Dimple: discrete diffusion multimodalR. Yu, X. Ma, and X. Wang (2025) Dimple: discrete diffusion multimodal large language model with parallel decoding. arXi
参考文献[45] C. Zhou, L. Yu, A. Babu, K. Tirumala, M. Yasunaga, L. Shamis, J. Kahn,C. Zhou, L. Yu, A. Babu, K. Tirumala, M. Yasunaga, L. Shamis, J. Kahn, X. Ma, L. Zettlemoyer, and O. Levy (2025) Transfu
参考文献[46] J. Xie, W. Mao, Z. Bai, D. J. Zhang, W. Wang, K. Q. Lin, Y. Gu, Z. CheJ. Xie, W. Mao, Z. Bai, D. J. Zhang, W. Wang, K. Q. Lin, Y. Gu, Z. Chen, Z. Yang, and M. Z. Shou (2025) Show-o: one sing
参考文献[47] A. Aghajanyan, L. Yu, A. Conneau, W. Hsu, K. Hambardzumyan, S. Zhang, A. Aghajanyan, L. Yu, A. Conneau, W. Hsu, K. Hambardzumyan, S. Zhang, S. Roller, N. Goyal, O. Levy, and L. Zettlemoyer (
参考文献[48] J. Luo, Z. Pang, Y. Zhang, T. Wang, L. Wang, B. Dang, J. Lao, J. Wang,J. Luo, Z. Pang, Y. Zhang, T. Wang, L. Wang, B. Dang, J. Lao, J. Wang, J. Chen, Y. Tan, et al. (2024) Skysensegpt: a fin
作者Zequn Yang编号 1,2 · 共同一作;项目整体推进;模型预训练与 SFT;架构与核心实验;论文写作
作者Yu Miao编号 1,2 · 共同一作;架构与核心实验;数据处理与组织;图像生成能力评测
作者Haotian Ni编号 3 · 共同一作;架构与核心实验;多模态理解评测
作者Ziheng Chen编号 1,2 · 共同一作;数据处理与组织;纯文本能力评测
作者Chengxiang Huang编号 4 · 共同一作;数据处理与组织
作者Dongzhan Zhou编号 5 · 技术设计与方法论讨论
作者Kai Chen编号 5 · 技术设计与方法论讨论
作者Qi Zhang编号 5 · 技术设计与方法论讨论
作者Ji-Rong Wen编号 1,2 · 技术设计与方法论讨论
作者Yake Wei编号 1,2 · 团队负责人;项目整体推进;论文写作与修订;监督指导
作者Di Hu编号 1,2,6 · 通讯作者、团队负责人;发起项目;论文写作与修订;监督指导
机构北京邮电大学编号 4
机构AresoX编号 6
依赖torch版本 2.10.0
依赖transformers版本 5.2.0
依赖deepspeed版本 0.18.5
依赖accelerate版本 1.12.0
依赖safetensors版本 0.7.0
依赖tokenizers版本 0.22.2
依赖flash-attn版本 未钉版本
依赖numpy版本 1.26.4
依赖pyarrow版本 23.0.0
依赖pyyaml版本 6.0.3
依赖einops版本 0.8.2
依赖pillow版本 10.4.0
依赖tqdm版本 4.67.3
训练参数max_length8192 · 最大序列长度
训练参数token_budget8192 · token 预算
训练参数base_vocab_size126464 · 原语言词表大小
训练参数vqvae_codebook_size16384 · 视觉码本大小(IBQ)
训练参数extended_vocab_size142848 · 扩展后词表 = 126464 + 16384
训练参数inter_layer_stateinteraction_token · 交互层状态类型
训练参数inter_layer_num4 · Zone I 层数,与论文「前 4 层」一致
训练参数answer_mask_schedulelinear · 答案掩码调度;可选 cosine / linear / uniform
训练参数image_mask_schedulelinear · 图像掩码调度
训练参数image_loss_weight0.1 · 图像损失权重
训练参数loss_weight_modetoken · sample 按段归一;token 用 1/sqrt(L)/mask_ratio
训练参数learning_rate1e-5 · 学习率
训练参数lr_scheduler_typeconstant · 常数调度
训练参数warmup_steps200 · 预热步数
训练参数adam_beta10.9 · AdamW β1
训练参数adam_beta20.95 · AdamW β2
训练参数adam_epsilon1.0e-8 · AdamW ε
训练参数weight_decay0.1 · 权重衰减
训练参数max_steps40000 · Stage-III 最大训练步数
训练参数gradient_accumulation_steps4 · 梯度累积
训练参数bf16true · BF16 混合精度
训练参数gradient_checkpointingtrue · 梯度检查点
训练参数save_steps1000 · 保存间隔
训练参数save_total_limit150 · 最多保留 checkpoint 数
训练参数logging_steps10 · 日志间隔
训练参数dataloader_num_workers0 · 数据加载进程
训练参数remove_unused_columnsfalse · 保留未使用列
训练参数NNODES1 · 节点数
训练参数NPROC_PER_NODE1 · 单节点进程数;单卡时不设置
训练参数NODE_RANK / MASTER_ADDR / MASTER_PORT0 / 127.0.0.1 / 29500 · 分布式默认值
训练参数OUTPUT_DIRoutputs/stage3 · 输出目录
训练参数CONFIGconfigs/training/gestalt_stage_3.yaml · 默认配置
训练参数DEEPSPEEDconfigs/deepspeed/zero_stage2.json · 设 DEEPSPEED=none 可关闭
训练参数Parquet 文件数≥ 分布式进程数 · README 明确的硬约束
训练参数zero_optimization.stage2 · ZeRO-2
训练参数allgather_bucket_size / reduce_bucket_size1e8 / 1e8 · 通信桶大小
训练参数overlap_comm / reduce_scattertrue / true · 通信重叠与归约
训练参数optimizer.typeAdamW · 优化器,参数由训练配置自动注入
训练参数fp16 / bf16auto / auto · 精度由启动参数决定
训练参数steps_per_print2000 · 日志打印间隔
数据构成冗余 R2.8M · 图像与文字说的是同一件事
数据构成文本特有 Ut4.2M · 只有文字给出的信息
数据构成视觉特有 Uv4.0M · 只有图像给出的信息
数据构成协同 S2.7M · 两者合起来才涌现的信息
训练阶段Stage I · 联合掩码预测70M 图文对 · 视觉与文本 token 随机掩码、互相重建;建立共享离散空间
训练阶段Stage II · 条件持续预训练8M 条件样本 · 强化以一类模态为条件生成另一类模态
训练阶段Stage III · 交互导向指令微调13.7M(另含约 2.5M 文生图) · 按四类交互组织样本,三阶段课程改变能力出现顺序

正文全文条目(1381 条)

按页面分组,来自构建时对 19 页真实 HTML 的逐块抽取;每条都带锚点,点击直达该段落或表格行。默认收起,展开后源码里全部可见。

首页(46 条)
模型概览(27 条)
方法与架构(27 条)
评测数据(69 条)
上手与资源(36 条)
同名辨析(18 条)
一手来源(22 条)
关于本站(17 条)
数据与训练(100 条)
分析实验(52 条)
内容全集(46 条)
论文精读(77 条)
仓库结构(43 条)
术语与词典(89 条)
常见问题(33 条)
中文图解(27 条)
全站搜索(13 条)
完整文档(576 条)
上游变更日志(63 条)
索引与正文同源:构建时从 data/ 快照、《Gestalt 内容全集》和渲染后的页面正文一并生成,改内容索引跟着变;最后核对 2026-11-20。

相关:内容全集索引 · 完整文档 · 编辑原则。