# Gestalt 内容全集

> **非官方中文资料汇编** · 核对日 2026-11-20 · 与 [gestaltx.org](https://gestaltx.org/) 同源同数  
> 整理对象：Gestalt: Large Multimodal Interplay Model（大型多模态交互模型）  
> 本文件与站点页面共用 `data/` 下的同一份快照由脚本生成，数字不会各写各的。

---

## 0 · 关于这份文档

**性质**：第三方中文整理，与论文作者、GeWu-Lab 及各所属机构无关联；不提供模型调用，不托管权重，不接推广。

**来源口径**：论文全文 v2、官方项目主页、代码仓库 README 与仓库内配置文件、arXiv 元数据、GitHub API。中文资讯稿只用于了解误读，不作事实依据。所有数字照录，未复现、未重算；官方自己说法不一致时并列展示，不替官方调和。

**置信度**：能点回一手来源并人工比对的写「已核实」；官方留了待确认标记、本机网络未核实或官方根本没给的，一律放进缺口清单，不推测填空。

**覆盖统计**

| 项目 | 数量 | 落点 |
|---|---|---|
| 论文表格 | 9 张（Table 1–9 全部） | 第 10、11 章 + 站点评测/分析/数据页 |
| 参考文献题录 | 48 条 | 第 24 章 + 论文精读页 |
| 核心术语 | 26 条 | 第 19 章 + 术语与词典页 |
| 评测基准 | 20 个 | 第 19 章 |
| 参评模型组 | 14 组 | 第 19 章 |
| 常见问题 | 15 条 | 第 20 章 + 常见问题页 |
| 作者 / 机构 | 11 位 / 6 所 | 第 19 章 |
| Stage-III 超参 | 40 项 | 第 8 章 + 数据与训练页 |
| 仓库主要文件 | 21 项 | 第 16 章 + 仓库结构页 |
| 站点页面 | 19 页 | 第 23 章 + 内容全集索引页 |
| 自绘中文图解 | 8 张 | 中文图解页（数字取自同一份快照） |
| 全站检索索引 | 1655 条（274 结构化 + 1381 正文块） | 左栏输入 / 右主区出结果 + 全站搜索页（正文逐块带锚点） |
| 上游观测指标 | 19 项（13 可核对 / 6 未核实） | 上游变更日志页 |


**在线阅读**：这份文档本身也在站内，见 `https://gestaltx.org/handbook/`（25 章单页长文，纯静态 HTML），并提供 Markdown 原文下载。本文档、站点页面、图解、全文检索索引共用 `build.py`、`tools/md2html.py` 与 `tools/make_doc.py` 生成，改数据后四者一起变。

---

## 1 · 它是什么

一句话：Gestalt 是一个围绕「多模态交互」组织起来的统一模型 —— 同一个离散扩散框架里同时做图像生成、多模态理解和纯文本任务，而不是三套模型拼起来。它真正追问的不是「再接一种模态」，而是图像与文本各自独有的信息、共有的信息、以及只有合起来才出现的信息，能不能被同一个模型分别对待。

### 1.1 身份卡

| 字段 | 内容 |
|---|---|
| 英文全称 | Gestalt: Large Multimodal Interplay Model |
| 中文可译作 | 大型多模态交互模型（本站译法，非官方定名） |
| 论文编号 | arXiv:2610.00576（v1 2026-09-30，v2 2026-10-08，17 页 7 图） |
| DOI | https://doi.org/10.48550/arXiv.2610.00576 |
| 基座 | LLaDA-8B-Instruct |
| 框架 | 统一离散扩散（unified discrete diffusion） |
| 图像表示 | IBQ，视觉码本 16,384 项，并入语言词表；交错 MRoPE 保留二维空间位置 |
| 交互 token | 32 个，可学习 |
| Zone I | 前 4 层 Transformer；其余层为 Zone II |
| 训练数据 | 70M 图文对预训练 + 8M 条件持续预训练 + 13.7M 指令微调（另含约 2.5M 文生图样本） |
| 主要机构 | 中国人民大学高瓴人工智能学院、大模型与智慧治理北京市重点实验室、北京航空航天大学、北京邮电大学、上海人工智能实验室、AresoX |
| 发布时间 | 2026-09-30 放出权重与训练/推理代码（据官方 README 的 News） |
| 许可证 | README 声明 Apache 2.0，但同句后留有 TODO: confirm license，且仓库根目录未见 LICENSE 文件 —— 使用前请以官方仓库为准 |

### 1.2 名字从哪来

README 与论文脚注都写明：名字取自格式塔心理学（Gestalt psychology）那句「整体大于部分之和」（the whole is greater than the sum of its parts）。放在这个模型上很贴切 —— 它关心的正是图像与文本合起来之后多出来的那部分信息。论文引用的是 W. Köhler 1967 年发表于 Psychologische Forschung 的 Gestalt psychology。

### 1.3 发布节奏

| 日期 | 事件 | 依据 |
|---|---|---|
| 2026-09-29 | 代码仓库 GeWu-Lab/Gestalt 创建 | GitHub API created_at |
| 2026-09-30 | 放出模型权重与训练／推理代码；论文 v1 提交 arXiv | 官方 README News |
| 2026-10-02 | README 公告 arXiv 论文上线 | 官方 README News |
| 2026-10-08 | 论文 v2 修订版，17 页、7 图，arXiv 页标注 CC BY 4.0 | arXiv 摘要页 |
| 2026-10-10 | 仓库最后一次推送 | GitHub API pushed_at 快照 |
| 待定 | SFT 数据 coming soon，截至核对日未放出 | 官方 README |
| 2026-11-20 | 本站／本文档逐条核对上述一手来源 | 本次整理 |

### 1.4 四个官方入口

- **官方项目主页**：https://gewu-lab.github.io/Gestalt/ —— 项目定位、架构、训练数据、全部评测表格（已核对）
- **论文摘要页**：https://arxiv.org/abs/2610.00576 —— 标题、作者、摘要、版本日期、页数、DOI（已核对）
- **论文全文（HTML）**：https://arxiv.org/html/2610.00576v2 —— 基座、32 个交互 token、前 4 层 Zone I、码本、训练细节、讨论（已核对）
- **代码仓库**：https://github.com/GeWu-Lab/Gestalt —— 快速上手、推理命令、数据格式、引用、许可证、更新动态（已核对）
- **模型权重**：https://huggingface.co/GeWu-Lab/Gestalt —— 权重下载（官方项目页与 README 均指向此处）（本机网络未核实）
- **在线 Demo**：https://huggingface.co/spaces/hugging-apps/gestalt —— 官方项目页 Demo 入口（本机网络未核实）

---

## 2 · 问题背景：从架构兼容到交互

论文开头把大模态模型的演进划成三段：

| 阶段 | 代表工作 | 做法 | 论文指出的局限 |
|---|---|---|---|
| 架构兼容 | LLaVA、Qwen2.5-VL | 视觉编码器经 projector 接到预训练语言模型 | 模态是接上了，关系没被建模 |
| 数据兼容 | Kimi K3、Qwen 3.8 | 大规模混合模态语料在同一模型里联合预训练 | 把数据凑齐，仍不等于处理好了信息关系 |
| 交互（本文） | Gestalt | 显式区分模态特有、跨模态冗余、多模态协同三层信息 | —— |

核心判断是一句 **more is different**：多出来的不是数据，是新的信息关系。在单模态里，信息可能只存在于某一侧、被多侧共享、或只在组合后涌现；这三类关系构成了多模态交互，是多模态学习独有的性质。

论文借人类多感官知觉作类比：感官信息先在各通路内编码，再分阶段逐步整合成连贯表征。这个多阶段组织直接催生了下面的金字塔。

---

## 3 · 多模态交互金字塔

### 3.1 三层定义

| 层 | 名称 | 处理的信息 | 对应到模型 |
|---|---|---|---|
| 底层 | 模态特有信息建模 Modality-Specific | 只有单一模态才知道的信息：图像的颜色纹理、文本里的关系描述 | Zone I 的独立 FFN 与受限注意力；基座预训练已提供基础 |
| 中层 | 跨模态冗余对齐 Cross-Modal Redundancy | 两种模态都提到的共有内容，用来建立对应关系 | 78M 对齐图文对的联合／条件掩码预训练 |
| 顶层 | 多模态协同 Multimodal Synergy | 必须把互补线索合起来才能得到、任一单侧都给不出的结论 | Zone II 全模态整合 + 协同类指令数据 |

### 3.2 论文那个「两只狗」的例子

文本说：「我有两只狗。大的戴红项圈，小的戴蓝项圈。」图像给出可见的项圈颜色；两者共同提到的「草地上的金毛」建立跨模态对应。单看文本不知道哪只是小的，单看图像不知道大小与颜色的对应规则 —— **合起来才能认出画面里较小的那一只**。这就是协同信息。

### 3.3 金字塔不只是比喻

论文明确说它同时落在三处：架构（Zone I / Zone II 分区）、数据组织（四类交互样本）、训练策略（三阶段课程）。这三处相互对齐，是本文与「把模态塞进同一个模型」类工作最大的区别。

---

## 4 · 统一离散扩散与形式化目标

### 4.1 统一的离散表示

- 固定的 VQ-VAE 编码器（IBQ）把图像变成离散 token，视觉码本 **16,384** 项，并入语言词表；仓库配置里 `base_vocab_size 126464 + vqvae_codebook_size 16384 = extended_vocab_size 142848`。
- 图像 token 与文本 token 排进同一序列，用交错 MRoPE 保留图像的二维空间位置。
- 底层是掩码扩散语言模型，双向注意力；视觉与文本 token 可以互为条件，**没有自回归那种固定生成方向**。

### 4.2 掩码扩散目标（论文公式 1）

对多模态序列 x = [xᵛ, xᵗ] 随机掩码一组位置 m，重建这些位置上的 token：掩码位置 token 的负对数似然求和取期望，条件为序列中未被掩码的部分。与自回归的关键差别是双向条件化 —— 图像可以条件于文本，文本也可以条件于图像。

### 4.3 两种掩码预测

| 目标 | 用在哪个阶段 | 做法 | 学到什么 |
|---|---|---|---|
| 联合掩码预测 Joint Masked Prediction | 多模态预训练（70M） | 视觉与文本 token 独立掩码、联合重建 | 模态内结构 + 双向跨模态依赖，建立联合分布 |
| 条件掩码预测 Conditional Masked Prediction | 持续预训练（8M）与 SFT（13.7M） | 留一个模态可见，掩码另一个并预测 | vision↔text 双向条件依赖，是联合建模与下游条件生成的桥梁 |

---

## 5 · 架构：两个 Zone 与交互 token

| 部件 | 设定 | 作用 |
|---|---|---|
| Interplay Zone I（瓶颈交互） | 论文指定**前 4 层 Transformer**；仓库 `inter_layer_num: 4` 印证 | 视觉与文本走各自独立 FFN，跨模态直连注意力受限，交换只能经交互 token 中介；先保住模态特有表征 |
| Interplay Zone II（全模态交互） | Zone I 之后的其余层；Figure 2 记为 N₂ | 解除限制，全模态自注意力 + 共享 FFN，图像／文本／交互 token 直接互通，建模协同信息 |
| 交互 token | 32 个可学习 token，贯穿两个 Zone | Zone I 里中介交换，Zone II 里继续聚合任务相关信息 |
| 视觉 FFN 初始化 | Zone I 新增的视觉 FFN 由 LLaDA 对应层文本 FFN 初始化 | 继承预训练能力，避免从零学起 |
| 基座 | LLaDA-8B-Instruct | 提供已具备的模态特有基础，所以多模态训练从中层冗余对齐起步 |

论文把两个 Zone 合起来概括为 **preserve-then-integrate** 路径：先专业化、再受控交换、最后完全整合。

**论文没给的**：Zone II 的具体层数（只写 N₁ / N₂）、Gestalt 自身参数量、32 这个交互 token 数量的选取依据或消融。这些格子本站留空。

---

## 6 · 训练数据

### 6.1 三阶段总表

| 阶段 | 数据量 | 训练目标 | 数据来源 |
|---|---|---|---|
| 多模态预训练 | 70M 图文对 | 联合掩码预测 | LLaVA-OneVision-1.5 |
| 条件持续预训练 | 8M 图文对 | 条件掩码预测 | 论文 3.1 节未单列 |
| 指令微调 Stage-III | 13.7M 指令样本 + 约 2.5M 文生图样本 | 条件掩码预测 + 四类交互数据 + 三阶段课程 | LLaVA-OneVision-1.5、MAmmoTH-VL、FineVision、InternVL；文生图来自 text-to-image-2M、ShareGPT-4o-Image、BLIP3o-60k |

前两阶段合称 **78M 对齐图文对**；**所有阶段全参数可训练**。

### 6.2 四类交互与 13.7M 的构成

SFT 样本按主导信息结构分为冗余 R、文本特有 Ut、视觉特有 Uv、协同 S。汇总：2.8M 冗余、4.2M 文本特有、4.0M 视觉特有、2.7M 协同，合计 13.7M。

#### 补充表 B · 13.7M 指令数据的构成（论文 Table 7）

附录 6.2 把 13.7M 指令样本按主导交互类型组织。R＝冗余、Uv＝视觉特有、Ut＝文本特有、S＝协同。样本数与占比照录 Table 7。

| 主任务 / 子能力 | 样本数 | 占比 | 主要交互类型 |
|---|---|---|---|
| **多模态理解（MMU）· 合计 9.743M** |  |  |  |
| 图像描述与场景理解 | 3.086M | 31.7% | R, Uv |
| 知识密集型视觉理解 | 2.105M | 21.6% | Ut, S |
| 通用 VQA 与指令遵循 | 1.630M | 16.7% | Uv, S |
| 物体、属性、状态与计数 | 1.558M | 16.0% | Uv |
| 场景文字与 OCR | 0.437M | 4.5% | Uv |
| 视觉定位与空间理解 | 0.366M | 3.8% | Uv, S |
| 幻觉抑制与难负样本 | 0.324M | 3.3% | Uv |
| 关系与组合推理 | 0.236M | 2.4% | S |
| **纯文本 · 合计 3.957M** |  |  |  |
| 文本理解与知识 | 3.957M | 100.0% | Ut |
| **合计** |  |  |  |
| 指令数据总量 | 13.700M | – | R, Uv, Ut, S |

> 怎么读：四类交互的汇总口径：2.8M 冗余、4.0M 视觉特有、4.2M 文本特有、2.7M 协同，合计 13.7M（论文 2.2 节与附录 6.2 一致，只是列举顺序不同）。另有 2.46M 文生图样本不计入这张表，官方主页与 3.1 节把它约写作 ≈2.5M / 2.5M。

### 6.3 数据清洗与归类流程（附录 6）

1. **预训练筛选**：从 LLaVA-OneVision-1.5-Midtraining 选高质量图文对，用 Qwen3-VL-32B-Instruct 校验图文一致性，剔除弱对应／错配样本。
2. **SFT 多轮质控**：VQ-VAE 压缩会丢细节，原本可答的样本在 token 化后可能不再可答。先规则过滤，再用 Qwen3-VL-32B-Instruct 验证「目标回答所需的视觉证据在 token 化后是否仍然存在」。
3. **交互类型不逐条标注**：在子任务层做 —— 每个子数据集随机抽 100 条，结合任务启发式与模型辅助校验，判断两模态是否提供重叠证据、预测主要依赖哪一侧、还是必须两者合用，再按聚合结果给整个子任务归类。
4. **图像生成数据**：另收 2.46M 条，不决定课程，大致均匀分布到三个阶段。

### 6.4 一个口径差异，照录不调和

同一批文生图样本，论文 3.1 节写 **2.5M**、附录 6.3 写 **2.46M**、官方项目主页与 README 写 **≈2.5M**。三者并列留痕，本站不挑一个当「准数」。

---

## 7 · 三阶段课程与对照实验

四类数据**全程都在**，只调采样比例：阶段 1 巩固跨模态对齐与语言能力，阶段 2 强化视觉特有能力，阶段 3 推向更深的多模态整合。

#### 补充表 C · 三阶段课程的对照实验（论文 Table 8）

从同一 CPT checkpoint 出发、只用 10% SFT 数据，比较「全程均匀混合」与「按交互类型排课程」。U＝Uniform，C＝Curriculum，Diff.＝C 减 U。数字照录 Table 8。

| 指标 | 阶段 1 · U | 阶段 1 · C | 阶段 1 · Diff. | 阶段 2 · U | 阶段 2 · C | 阶段 2 · Diff. | 阶段 3 · U | 阶段 3 · C | 阶段 3 · Diff. |
|---|---|---|---|---|---|---|---|---|---|
| MMStar-P | 49.52 | 45.08 | -4.44 | 49.42 | 49.72 | +0.30 | 51.67 | 53.87 | +2.20 |
| MME-P | 917.1 | 1030.9 | +113.8 | 1135.8 | 1178.5 | +42.7 | 1249.5 | 1211.6 | -37.9 |
| MMVP | 26.67 | 28.00 | +1.33 | 32.67 | 26.00 | -6.67 | 29.33 | 31.33 | +2.00 |
| CVBench-2D | 68.64 | 68.08 | -0.56 | 73.02 | 72.11 | -0.90 | 73.99 | 74.62 | +0.63 |

> 怎么读：这张表最容易被误读成「课程更好」。实际结论是能力的出现顺序被改变了：早期偏冗余与文本，宽泛感知（MME-P +113.8）上来得快，细粒度感知反而落后；到阶段 3，MMStar-P（+2.20）与 CVBench-2D（+0.63）反超，MME-P 则转为 -37.9。论文自己写的是 progressively reshapes，不是 uniformly improves。

这张表最容易被误读成「课程更好」。论文原文的措辞是 *progressively reshapes the model toward different aspects of multimodal capability*，并明确写了 *does not simply provide a uniform gain across benchmarks*。真实结论是**能力的出现顺序被改变**：早期宽泛感知上来得快、细粒度感知落后；到后期反转。

---

## 8 · Stage-III 训练配置全参数

以下逐条照录仓库 `configs/training/gestalt_stage_3.yaml`、`scripts/training/gestalt_sft.sh`、`configs/deepspeed/zero_stage2.json`。这些是仓库默认值，不等于论文报告的最终超参。

### 8.1 序列与词表

| 参数 | 值 | 说明 |
|---|---|---|
| max_length | 8192 | 最大序列长度 |
| token_budget | 8192 | token 预算 |
| base_vocab_size | 126464 | 原语言词表大小 |
| vqvae_codebook_size | 16384 | 视觉码本大小（IBQ） |
| extended_vocab_size | 142848 | 扩展后词表 = 126464 + 16384 |
| inter_layer_state | interaction_token | 交互层状态类型 |
| inter_layer_num | 4 | Zone I 层数，与论文「前 4 层」一致 |

### 8.2 掩码与损失

| 参数 | 值 | 说明 |
|---|---|---|
| answer_mask_schedule | linear | 答案掩码调度；可选 cosine / linear / uniform |
| image_mask_schedule | linear | 图像掩码调度 |
| image_loss_weight | 0.1 | 图像损失权重 |
| loss_weight_mode | token | sample 按段归一；token 用 1/sqrt(L)/mask_ratio |

### 8.3 优化器与步数

| 参数 | 值 | 说明 |
|---|---|---|
| learning_rate | 1e-5 | 学习率 |
| lr_scheduler_type | constant | 常数调度 |
| warmup_steps | 200 | 预热步数 |
| adam_beta1 | 0.9 | AdamW β1 |
| adam_beta2 | 0.95 | AdamW β2 |
| adam_epsilon | 1.0e-8 | AdamW ε |
| weight_decay | 0.1 | 权重衰减 |
| max_steps | 40000 | Stage-III 最大训练步数 |

### 8.4 训练工程

| 参数 | 值 | 说明 |
|---|---|---|
| gradient_accumulation_steps | 4 | 梯度累积 |
| bf16 | true | BF16 混合精度 |
| gradient_checkpointing | true | 梯度检查点 |
| save_steps | 1000 | 保存间隔 |
| save_total_limit | 150 | 最多保留 checkpoint 数 |
| logging_steps | 10 | 日志间隔 |
| dataloader_num_workers | 0 | 数据加载进程 |
| remove_unused_columns | false | 保留未使用列 |

### 8.5 启动脚本默认值（scripts/training/gestalt_sft.sh）

| 参数 | 值 | 说明 |
|---|---|---|
| NNODES | 1 | 节点数 |
| NPROC_PER_NODE | 1 | 单节点进程数；单卡时不设置 |
| NODE_RANK / MASTER_ADDR / MASTER_PORT | 0 / 127.0.0.1 / 29500 | 分布式默认值 |
| OUTPUT_DIR | outputs/stage3 | 输出目录 |
| CONFIG | configs/training/gestalt_stage_3.yaml | 默认配置 |
| DEEPSPEED | configs/deepspeed/zero_stage2.json | 设 DEEPSPEED=none 可关闭 |
| Parquet 文件数 | ≥ 分布式进程数 | README 明确的硬约束 |

### 8.6 DeepSpeed（configs/deepspeed/zero_stage2.json）

| 参数 | 值 | 说明 |
|---|---|---|
| zero_optimization.stage | 2 | ZeRO-2 |
| allgather_bucket_size / reduce_bucket_size | 1e8 / 1e8 | 通信桶大小 |
| overlap_comm / reduce_scatter | true / true | 通信重叠与归约 |
| optimizer.type | AdamW | 优化器，参数由训练配置自动注入 |
| fp16 / bf16 | auto / auto | 精度由启动参数决定 |
| steps_per_print | 2000 | 日志打印间隔 |

---

## 9 · 依赖与启动约束

### 9.1 requirements.txt

| 包 | 版本 |
|---|---|
| torch | 2.10.0 |
| transformers | 5.2.0 |
| deepspeed | 0.18.5 |
| accelerate | 1.12.0 |
| safetensors | 0.7.0 |
| tokenizers | 0.22.2 |
| flash-attn | 未钉版本 |
| numpy | 1.26.4 |
| pyarrow | 23.0.0 |
| pyyaml | 6.0.3 |
| einops | 0.8.2 |
| pillow | 10.4.0 |
| tqdm | 4.67.3 |

`flash-attn` 未钉版本；torch 2.10.0 / transformers 5.2.0 / deepspeed 0.18.5 是钉死的。

### 9.2 三条硬约束

1. checkpoint 目录必须包含 `tokenizer.json`，训练直接从此读取分词器。
2. Parquet 文件数不能少于分布式进程数；单机单卡时不设 `NPROC_PER_NODE`。
3. 文生图推理默认空 system prompt，与训练模板一致；若训练数据用了固定非空系统提示词，推理要传 `--system-prompt` 同一段文字。

---

## 10 · 主评测：五张表全量数字

下面五张表照录官方项目主页（与论文 Table 1 / 2 / 3 / 5 / 6 一致）。「↑」后是原表标注的领先幅度，「†」「–」沿用原表记号，含义以官方页面为准。本站未复现、未重算、未删行。

#### 一、细粒度文生图 · UniGenBench

官方描述：Gestalt 在参评模型中取得最高总分，兼顾细粒度语义对齐与组合式生成。下表为英文长提示设置。

| 模型 | Overall | Style | World | Attr. | Action | Rel. | Comp. | Grammar | Layout | Logic | Text |
|---|---|---|---|---|---|---|---|---|---|---|---|
| **生成专用模型（Gen. Only）** |  |  |  |  |  |  |  |  |  |  |  |
| DALL-E-3 | 70.82 | 95.08 | 92.71 | 84.98 | 68.36 | 77.90 | 73.88 | 68.19 | 71.76 | 57.11 | 18.26 |
| SD-3.5-Large | 64.35 | 88.12 | 88.15 | 78.78 | 59.63 | 67.62 | 62.21 | 65.23 | 71.19 | 44.90 | 17.66 |
| OmniGen2 | 71.39 | 94.35 | 84.83 | 83.03 | 66.57 | 73.06 | 70.49 | 76.40 | 80.63 | 56.55 | 27.99 |
| **统一模型（Unified）** |  |  |  |  |  |  |  |  |  |  |  |
| Emu3 | 50.95 | 89.36 | 76.16 | 66.81 | 43.80 | 51.70 | 46.00 | 50.25 | 56.67 | 27.43 | 1.36 |
| Show-o2 | 70.33 | 93.11 | 88.44 | 86.35 | 69.02 | 77.37 | 76.45 | 70.30 | 80.63 | 59.71 | 1.90 |
| Janus-Pro | 71.11 | 94.02 | 88.15 | 81.81 | 69.14 | 77.96 | 76.53 | 74.62 | 82.14 | 62.62 | 4.08 |
| MMaDA | 40.10 | 75.83 | 52.75 | 49.90 | 32.42 | 39.06 | 38.37 | 50.00 | 43.02 | 19.42 | 0.27 |
| BAGEL | 71.26 | 92.44 | 89.31 | 84.21 | 67.62 | 75.70 | 74.71 | 74.75 | 81.90 | 59.71 | 12.23 |
| Lumina-DiMOO | 71.81 | 86.88 | 88.58 | 83.71 | 69.66 | 73.33 | 74.93 | 74.49 | 84.84 | 58.01 | 23.64 |
| Gestalt | 73.30↑1.49 | 95.85↑0.77 | 81.65 | 82.51 | 68.57 | 78.12↑0.16 | 81.20↑4.67 | 82.23↑5.83 | 85.79↑0.95 | 73.28↑10.66 | 3.80 |

> 怎么读：Overall 是总分；Text 一列考察图中文字，Gestalt 为 3.80，明显不是强项 —— 看总分时别忽略分项。

#### 二、长短指令文生图 · TIIF-Bench

官方描述：短、长指令两类设置下均领先，长提示引入更多相互依赖的要求时优势更大。四组指标各分短／长两列。

| 模型 | Overall · Short | Overall · Long | Basic · Short | Basic · Long | Advanced · Short | Advanced · Long | Designer · Short | Designer · Long |
|---|---|---|---|---|---|---|---|---|
| **生成专用模型（Gen. Only）** |  |  |  |  |  |  |  |  |
| PixArt-Sigma | 62.00 | 58.12 | 70.66 | 75.25 | 57.65 | 49.50 | 62.11 | 52.41 |
| FLUX.1 Pro | 67.32 | 69.89 | 79.08 | 78.91 | 61.10 | 65.37 | 71.80 | 68.80 |
| MidJourney V7 | 68.74 | 65.69 | 77.41 | 76.00 | 64.66 | 60.53 | 68.83 | 63.61 |
| SD 3.5 Large | 71.15 | 66.96 | 78.34 | 79.56 | 67.67 | 61.18 | 64.43 | 66.39 |
| **统一模型（Unified）** |  |  |  |  |  |  |  |  |
| Emu3 | 43.38 | 39.44 | 49.88 | 42.08 | 37.09 | 33.52 | 53.73 | 60.45 |
| MMaDA | 52.32 | 52.90 | 65.78 | 66.71 | 50.32 | 50.76 | 60.45 | 55.60 |
| Show-o2 | 67.38 | 68.76 | 81.16 | 84.06 | 69.25 | 72.99 | 75.37 | 75.75 |
| Janus-Pro | 66.50 | 65.02 | 79.33 | 78.25 | 59.71 | 58.82 | 65.84 | 60.25 |
| BAGEL | 71.50 | 71.70 | 81.79 | 80.05 | 70.24 | 72.19 | 68.28 | 67.91 |
| Lumina-DiMOO | 71.27 | 68.53 | 75.50 | 78.29 | 70.49 | 68.33 | 69.78 | 70.90 |
| Gestalt | 74.57↑3.07 | 78.86↑7.16 | 83.79↑2.00 | 86.06↑2.00 | 72.60↑2.11 | 77.69↑4.70 | 84.70↑9.33 | 88.81↑13.06 |

> 怎么读：论文正文把 74.57 / 78.86 写作 TIIF-Bench 的短／长设置成绩；长指令上的领先幅度普遍更大。

#### 三、多模态理解

官方描述：视觉为中心的任务上增益更明显，反映在统一模型里保留模态特有信息的价值。

| 模型 | MME-P | GQA | MMStar-P | POPE | RWQA | MMVP | CVB2d | CVB3d |
|---|---|---|---|---|---|---|---|---|
| **自回归基座（AR-Based）** |  |  |  |  |  |  |  |  |
| BAGEL | 1687.0† | 66.4 | 70.9 | 88.2 | 67.6 | 69.3† | 77.7 | 84.2 |
| **扩散基座（Diffusion-based）** |  |  |  |  |  |  |  |  |
| MMaDA | 1410.7† | 61.3† | 43.0 | 86.1† | 48.2 | 17.3 | 55.3 | 54.8 |
| Lumina-DiMOO | 1534.2† | 43.3 | – | 87.4† | 35.9 | 34.0 | 54.3 | 52.0 |
| LaViDA-o | 1431.0 | 54.1 | 55.9 | – | 56.6 | 47.3 | 73.4 | 70.8 |
| LLaDA-o | 1412.0† | 58.0 | 55.6 | 87.2 | 66.4 | 46.7 | 78.0 | 75.9 |
| Omni-diffusion | 1216.7† | – | – | 76.6† | – | – | – | – |
| **本站主体** |  |  |  |  |  |  |  |  |
| Gestalt | 1600.2↑66.0 | 60.2 | 60.8 | 86.5 | 59.1 | 48.7↑1.4 | 78.9↑0.9 | 86.1↑10.2 |

> 怎么读：MME-P 一项 BAGEL 的 1687.0 高于 Gestalt 的 1600.2；Gestalt 的优势集中在 CV-Bench 两条视觉细项上，不是全项通吃。

#### 四、纯文本能力

官方描述：在参评的扩散式统一模型中整体领先，语言表现与 Janus-Pro 等自回归模型相当。

| 模型 | MMLU | TruthfulQA | WinoGrande | HellaSwag | ARC-E | ARC-C |
|---|---|---|---|---|---|---|
| **自回归基座（AR-Based）** |  |  |  |  |  |  |
| Show-o2 | 71.70 | 46.94 | 74.03 | 76.67 | 84.43 | 58.53 |
| Janus-Pro | 49.90 | 41.72 | 67.17 | 68.41 | 65.74 | 40.70 |
| BAGEL | 28.02 | 40.51 | 50.75 | 28.59 | 27.53 | 23.63 |
| **扩散基座（Diffusion-based）** |  |  |  |  |  |  |
| MMaDA | 40.14 | 43.81 | 54.85 | 45.81 | 46.72 | 28.67 |
| Lumina-DiMOO | 29.75 | 43.34 | 51.62 | 39.11 | 44.44 | 26.45 |
| LLaDA-o | 25.25 | 52.30 | 51.22 | 30.72 | 36.66 | 24.66 |
| **本站主体** |  |  |  |  |  |  |
| Gestalt | 49.50↑9.36 | 47.55 | 60.62↑5.77 | 53.44↑7.63 | 62.29↑15.57 | 43.69↑15.02 |

> 怎么读：这里的「领先」限定在扩散式统一模型这一组；与 Show-o2 的 MMLU 71.70 相比仍有差距。

#### 五、视觉特有与协同能力

官方描述：视觉特有表现与协同类指标相配，在参评的扩散式模型中取得领先的协同结果。

| 模型 | MIB-V（视觉特有） | CoreCog-SM（协同） | MM-IMDb（协同） | SRBench（协同） |
|---|---|---|---|---|
| **自回归基座（AR-Based）** |  |  |  |  |
| BAGEL | 65.96 | 65.00 | 60.60 | 51.89 |
| **扩散基座（Diffusion-based）** |  |  |  |  |
| MMaDA | 44.23 | 43.20 | 30.39 | 36.72 |
| Lumina-DiMOO | 56.43 | 42.20 | 31.22 | 45.50 |
| LLaDA-o | 60.31 | 53.30 | 39.64 | 50.89 |
| LaViDa-O | 58.07 | 50.60 | 51.54 | 40.89 |
| **本站主体** |  |  |  |  |
| Gestalt | 59.89 | 55.20↑1.90 | 67.07↑15.53 | 53.17↑2.28 |

> 怎么读：MIB-V 一项 LLaDA-o 的 60.31 略高于 Gestalt 的 59.89；这一组表格要看的是协同三项的跃升幅度。

以下数字照录官方项目主页的评测表格，本站仅做中文表头整理与分组排版，未复现、未重算。带 † 与 – 的记号沿用原表，含义以原页为准；↑ 后的数字为原表标注的领先幅度。

**分项比总分诚实**：MME-P 一项 BAGEL 1687.0 高于 Gestalt 1600.2；UniGenBench 的 Text 分项 Gestalt 只有 3.80；MIB-V 一项 LLaDA-o 60.31 略高于 59.89；纯文本 MMLU 一项 Show-o2 71.70 高于 49.50。这些全部留在表里。官方措辞带「在参评模型中」「在参评的扩散式统一模型中」的限定，本站不写成「全面超越」。

---

## 11 · 补充表：表征空间与遥感迁移

#### 补充表 A · 语言表征空间的偏移与保留（论文 Table 4）

以预训练 LLaDA 为参照，衡量两种多模态适配范式对语言嵌入空间的改动。Norm / Distance 看分布偏移，Cosine Sim. / CKA 看结构保留。数值照录论文 Table 4。

| 模型 | 适配范式 | Norm Mean | Norm Std | Mean Distance | Cosine Sim. | CKA |
|---|---|---|---|---|---|---|
| **基座（Base）** |  |  |  |  |  |  |
| LLaDA | 参照 | 7.82 | 1.11 | – | – | – |
| **投影对齐（Projector Alignment）** |  |  |  |  |  |  |
| LLaDA-V | 投影对齐 | 7.82 | 1.11 | 0.043 | 0.99998 | 0.99997 |
| LaViDa | 投影对齐 | 7.83 | 1.11 | 0.160 | 0.99976 | 0.99964 |
| LLaDA-O | 投影对齐 | 8.02 | 1.16 | 1.520 | 0.98136 | 0.97424 |
| **统一 token 空间（Unified Token Space）** |  |  |  |  |  |  |
| Lumina-DiMOO | 统一离散空间 | 0.85 | 0.49 | 7.426 | 0.58795 | 0.43894 |
| Gestalt | 统一离散空间 | 5.29 | 0.76 | 2.590 | 0.99677 | 0.99494 |

> 怎么读：统一 token 空间的模型改动更大，但 Gestalt 的 Cosine 0.99677 与 CKA 0.99494 远高于 Lumina-DiMOO 的 0.58795 / 0.43894 —— 论文据此判断它在建立共享空间的同时大体保住了原有语言几何。Norm Mean 从 7.82 降到 5.29，说明嵌入尺度仍有明显变化，这一点论文没有回避。

#### 补充表 D · 遥感领域迁移（论文 Table 9）

只向训练混合里加入 5 万条 FIT 遥感 VQA 样本，考察模型吸收新视觉域知识的效率。FGRS 考细粒度识别，FGRC 考物体与区域间的关系推理。

| 模型 | 遥感微调样本 | FGRS | FGRC |
|---|---|---|---|
| BAGEL | – | 42.51 | 36.65 |
| GeoChat | – | 53.47 | 21.90 |
| SkySenseGPT | 1.415M | 79.76 | 55.50 |
| Lumina-DiMOO * | 50K | 77.77 | – |
| Gestalt | 50K | 79.34 | 38.20 |

> 怎么读：用 5 万条样本得到 FGRS 79.34，逼近用 141.5 万条训练的专业模型 SkySenseGPT 的 79.76；同数据量下也高于 Lumina-DiMOO* 的 77.77。但关系推理 FGRC 只有 38.20，与 55.50 仍有明显差距 —— 论文如实写了 although a gap remains。* 表示 FGRC 评测未完成。

---

## 12 · 表征与交互 token 分析

### 12.1 统一的视觉—语言空间

3.3 节在**第 24 层**、用 DOCCI 图文对可视化隐藏表征：Lumina-DiMOO 两模态明显分离；Qwen3.8 有部分重叠但大量文本 token 仍与视觉表征分开；Gestalt 的分布更交织。论文脚注说明，因无官方 9B checkpoint，对照用的是蒸馏版 Qwen3.8-9B-Distill，并给出了地址 —— 这是作者自己写明的替代口径。

### 12.2 语言几何有没有被保住

Table 4 显示：投影对齐类模型对原语言空间改动最小；统一 token 空间类改动更大。但 Gestalt 的 Cosine 0.99677 / CKA 0.99494 远高于 Lumina-DiMOO 的 0.58795 / 0.43894。论文据此判断它「建了新空间，同时大体保住原有表征结构」。同时 Norm Mean 从基座 7.82 降到 5.29，嵌入尺度的明显变化论文没有回避。

### 12.3 交互 token 会不会按需变形

3.4 节在**第 16 层**可视化 MIBench 上交互 token 的隐藏表征。MIBench 按预测所需信息把样本分成视觉特有、文本特有、跨模态协同。结果：视觉主导与文本主导样本占据大体分离的区域，协同样本形成第三种分布并部分 bridging 前两者。论文据此判断这些 token 会按信息需求调整交换方式 —— 这是解释性观察，不是因果证明。

---

## 13 · 纯文本能力

评测设置：MMLU、WinoGrande、TruthfulQA 用 5-shot，HellaSwag、ARC-Easy、ARC-Challenge 用 0-shot，TruthfulQA 报 MC2。Table 5 里 Gestalt 在六个基准中五项领先扩散式统一模型，ARC-E / ARC-C 提升最大（+15.57 / +15.02）；与 AR 模型比，六项全胜 BAGEL，MMLU 49.50 接近 Janus-Pro 的 49.90。论文结论是多模态适配后语言能力仍被保住，不是「语言也全面最强」。

---

## 14 · 相关工作、讨论与致谢

**相关工作**：从架构兼容（视觉编码器 + projector + AR 语言模型）到原生统一模型（共享模型联合预训练，同时支持理解与生成），后者又分自回归 next-token、离散扩散、混合 AR-diffusion / flow-based 三条路线。论文指出的共同缺口是：现有工作聚焦把数据放进同一模型，没有显式组织跨模态的信息关系与涌现性质。

**讨论**：核心判断是「统一未必要求从最底层就共享全部计算」—— 先模态特有处理、受控交换、再完全整合，可能更好地平衡专长与协同。作者把它和混合模态 scaling law 研究联系起来：既然已有工作把多模态协同视为关键组分，规模效应或许不只取决于模型与数据量，也取决于跨阶段的信息交换如何组织。原文用 suggest / may，是后续研究的提议，不是已验证结论。

**致谢与资助**：论文写明本工作部分受北京市自然科学基金 4262050 与北京新星计划 202604841277 支持。

---

## 15 · 附录实验：定性与领域迁移

### 15.1 遥感迁移（7.2）

只加 5 万条 FIT 遥感 VQA 样本，FGRS 79.34 逼近用 141.5 万条样本的 SkySenseGPT 79.76，同数据量下也高于 Lumina-DiMOO* 的 77.77；但关系推理 FGRC 只有 38.20，与 55.50 仍有明显差距 —— 论文如实写了 *although a gap remains*。详见第 11 章 Table 9。

### 15.2 细粒度生成定性（7.3 / Figure 7）

论文举的例子：雪地上的北极熊与企鹅、金字塔前的骆驼队、塞纳河边的情侣与游轮、装在不同容器里的几组花束、内部装不同内容物的相似瓶子、金属空碗旁的小狗。风格覆盖水彩、梵高式油画、印象派、超现实数字艺术、产品摄影、电影感风景与日式动漫。作者强调风格约束影响的是整幅画面的光照、色调、笔触、透视与氛围，而非浮在局部的一层贴图。

以上是论文文字描述，本站不搬运官方示例图。

---

## 16 · 代码仓库

仓库 `GeWu-Lab/Gestalt`，默认分支 main，2026-11-20 快照：创建 2026-09-29、最后推送 2026-10-10、star 28 / fork 3 / 未关闭 issue 2、license 字段为空。**这些是会变的元数据，只作留痕，不作结论。**

### 16.1 主要文件

| 路径 | 用途 |
|---|---|
| README.md | 项目说明、News、架构、训练、Quick Start、数据格式、引用、许可证、作者分工 |
| archive/Gestalt.pdf | 论文 PDF 归档 |
| assets/ | 官方标识、金字塔、架构图、评测图、示例图、微信群二维码（本站不搬运） |
| configs/training/gestalt_stage_3.yaml | Stage-III SFT 全部超参 |
| configs/deepspeed/zero_stage2.json | ZeRO-2 配置 |
| gestalt/data/datasets.py | 数据集定义 |
| gestalt/data/stage3.py | 第三阶段数据加载 |
| gestalt/model/builder.py | 模型构建 |
| gestalt/model/config.py | 配置读取 |
| gestalt/model/configuration_llada.py | LLaDA 配置 |
| gestalt/model/flex_attention.py | 灵活注意力（Zone I 受限交换相关） |
| gestalt/model/modeling_gestalt.py | Gestalt 主体模型 |
| gestalt/model/modeling_llada.py | LLaDA 基座模型 |
| gestalt/model/mrope.py | 交错 MRoPE 位置编码 |
| gestalt/model/templates.py | 提示词模板 |
| gestalt/training/trainer.py | 训练器 |
| scripts/training/gestalt_sft.sh | Stage-III 启动脚本（torchrun） |
| scripts/training/train_stage3.py | Stage-III 训练入口 |
| scripts/inference/run_mmu.py | 多模态理解推理 |
| scripts/inference/run_t2i.py | 文生图推理（输出 VQ-VAE token） |
| requirements.txt | 13 项依赖，含版本 |

### 16.2 三类任务与脚本

| task_type | 任务 | 入口 |
|---|---|---|
| i2t | 图生文、多模态理解 MMU | scripts/inference/run_mmu.py |
| t2i | 文生图 | scripts/inference/run_t2i.py（输出 VQ-VAE 离散 token） |
| i2i | 图生图 | Stage-III 统一 Parquet schema；README 未单列推理脚本 |

训练统一走 `scripts/training/gestalt_sft.sh` → `train_stage3.py`，配置 `configs/training/gestalt_stage_3.yaml`，DeepSpeed `configs/deepspeed/zero_stage2.json`。模型实现的关键模块：`modeling_gestalt.py`、`modeling_llada.py`、`flex_attention.py`（Zone I 受限交换）、`mrope.py`（二维位置）、`templates.py`（提示词模板）。

---

## 17 · 快速上手（逐条摘自官方 README）

### 17.1 环境与权重

```bash
git clone https://github.com/GeWu-Lab/Gestalt.git
cd Gestalt
pip install -r requirements.txt
huggingface-cli download GeWu-Lab/Gestalt --local-dir /path/to/checkpoint
```

### 17.2 多模态理解推理

```bash
python scripts/inference/run_mmu.py \
  --model /path/to/checkpoint \
  --image-tokens image_tokens.npy \
  --question "What is in this image?" \
  --token-h 32 --token-w 32
```

### 17.3 文生图推理

```bash
python scripts/inference/run_t2i.py \
  --model /path/to/checkpoint \
  --prompt "A cat sitting on a windowsill" \
  --output output_tokens.npy \
  --lat-h 32 --lat-w 32
```
输出是 VQ-VAE 离散 token，不是图片文件。

### 17.4 Stage-III 训练

```bash
DATA_DIR=/path/to/parquet \
PRETRAINED=/path/to/checkpoint \
NPROC_PER_NODE=8 \
scripts/training/gestalt_sft.sh
```

### 17.5 数据格式（Parquet 每行字段）

| 字段 | 图生文 / 理解 i2t | 文生图 t2i | 图生图 i2i |
|---|---|---|---|
| task_type | i2t | t2i | i2i |
| metadata_json | JSON 字符串 | JSON 字符串 | JSON 字符串 |
| conversations | 字符串 / 轮次列表 | — | — |
| img_tokens | VQ-VAE 原始 ID | — | — |
| system_prompt | 可选 | 字符串 | 字符串 |
| user_prompt | — | 字符串 | 字符串 |
| input_image_tokens | — | — | VQ-VAE 原始 ID |
| answer_image_tokens | — | VQ-VAE 原始 ID | VQ-VAE 原始 ID |

字段名照录 README，改动会导致训练脚本读不到数据。SFT 数据官方标注 coming soon。

---

## 18 · 引用与许可证

官方 README 给出的引用条目：

```bibtex
@article{gestalt2026,
  title   = {Gestalt: Large Multimodal Interplay Model},
  author  = {Yang, Zequn and Miao, Yu and Ni, Haotian and Chen, Ziheng and
             Huang, Chengxiang and Zhou, Dongzhan and Chen, Kai and Zhang, Qi and
             Wen, Ji-Rong and Wei, Yake and Hu, Di},
  year    = {2026},
  url     = {https://github.com/GeWu-Lab/Gestalt}
}
```

**论文**：arXiv 页面标注 CC BY 4.0；本站只做要点转述与数字照录，不整段搬运正文。

**代码许可证**：README 写 `This project is released under the Apache 2.0 license.`，但同一句后面留着 `<!-- TODO: confirm license -->`，仓库根目录没有 LICENSE 文件，GitHub API 的 license 字段为空。本站按「待核实」处理，**不作为授权结论**；商用或二次分发前请以官方仓库当前状态为准。

---

## 19 · 词典

### 19.1 核心术语（26 条）

| 术语 | 含义 |
|---|---|
| Multimodal Interplay / 多模态交互 | 论文核心概念：信息可能只存在于单一模态、被多模态共享、或只在组合后才涌现，这三类关系合称交互。 |
| Multimodal Interplay Pyramid / 多模态交互金字塔 | 底层模态特有信息建模 → 中层跨模态冗余对齐 → 顶层多模态协同；同时约束架构、数据组织与训练顺序。 |
| Modality-specific / 模态特有信息 | 只有某一模态才知道的信息，如图像的颜色纹理、文本里的关系描述。 |
| Redundancy / 冗余信息 | 两种模态都提到的共有内容，用来建立跨模态对应关系。论文记作 R。 |
| Synergy / 协同信息 | 必须把互补线索合起来才能得到、任一单模态都给不出的结论。论文记作 S。 |
| Uv / Ut | 论文记号：视觉特有信息（visual-unique）与文本特有信息（text-unique）。 |
| Unified Discrete Diffusion / 统一离散扩散 | 图像与文本共用离散 token 空间与同一个掩码预测目标，双向条件化，没有自回归的固定生成方向。 |
| Masked Diffusion Objective | 论文公式 (1)：对多模态序列随机掩码一组位置并重建对应 token，取负对数似然；双向条件化，无固定生成方向。 |
| Joint Masked Prediction / 联合掩码预测 | 预训练目标：视觉与文本 token 各自独立掩码、联合重建，学模态内结构与双向跨模态依赖。 |
| Conditional Masked Prediction / 条件掩码预测 | CPT 与 SFT 目标：留一个模态可见，掩码并预测另一个，建立 vision↔text 双向条件依赖。 |
| Interplay Token / 交互 token | 32 个可学习 token，作为视觉流与文本流的共享接口；Zone I 里中介交换，Zone II 里继续聚合任务相关信息。 |
| Interplay Zone I / 瓶颈交互区 | 前 4 层 Transformer；视觉与文本各走独立 FFN，跨模态直连注意力受限，只能经交互 token 交换。 |
| Interplay Zone II / 全模态交互区 | Zone I 之后的其余层；全模态自注意力 + 共享 FFN，三类 token 直接互通。 |
| Preserve-then-integrate | 论文对两个 Zone 合起来作用的概括：先保住模态特有表征，再做完全整合。 |
| IBQ / Index Backpropagation Quantization | 图像 tokenizer，固定 VQ-VAE 编码器，码本 16,384 项；论文引用 ICCV 2025 的工作。 |
| VQ-VAE token | 图像被压缩成的离散 ID。推理时 run_t2i.py 输出的就是它，不是图片文件。 |
| MRoPE / interleaved MRoPE | 交错多维旋转位置编码，用来在共享序列里保留图像 token 的二维空间位置。 |
| LLaDA-8B-Instruct | 基座模型：掩码扩散语言模型，双向注意力；Gestalt 从这里初始化。 |
| CPT / Continual Pretraining | 持续预训练，8M 图文对，条件掩码预测。 |
| SFT / Supervised Fine-Tuning | 指令微调，13.7M 四类交互样本 + 约 2.5M 文生图样本，三阶段课程。 |
| Interplay-Oriented Curriculum | 三阶段课程：四类数据全程保留，只调采样比例，重心从冗余／文本 → 视觉特有 → 协同。 |
| CKA | Centered Kernel Alignment，衡量两组表征结构的相似度，Table 4 用来衡量语言空间保留程度。 |
| ZeRO-2 | DeepSpeed 的优化器状态与梯度分片策略，仓库默认配置。 |
| Parquet | Stage-III 训练数据的文件格式，统一 schema 覆盖 i2t / t2i / i2i 三类任务。 |
| MMU | Multimodal Understanding，多模态理解；推理脚本 run_mmu.py 对应这一类任务。 |
| T2I / I2T / I2I | 文生图 / 图生文 / 图生图，对应数据格式里的 task_type 三种取值。 |

### 19.2 评测基准（20 个）

| 基准 | 类别 / 考察点 | 说明 |
|---|---|---|
| UniGenBench | 细粒度文生图 | 属性、动作、空间关系、组合、逻辑推理等 11 个分项；官方表为 English Long 设置。 |
| TIIF-Bench | 复杂指令遵循的文生图 | 短 / 长两种提示，Overall、Basic、Advanced、Designer 四组指标。 |
| MME-P | 多模态理解（感知） | MME 的感知分项，分数为千量级；Table 3 中 BAGEL 1687.0 高于 Gestalt 1600.2。 |
| GQA | 真实场景视觉推理与组合式问答 | Table 3 的通用 VQA 组。 |
| MMStar-P | 多模态感知 | MMStar 的 Perception 分项；课程消融表也用它做细粒度感知指标。 |
| POPE | 物体幻觉 | 判断模型是否幻觉出不存在的物体。 |
| RWQA / RealworldQA | 真实世界场景问答 | Table 3 的通用 VQA 组。 |
| MMVP | 视觉中心感知 | 专门暴露多模态大模型视觉短板的基准。 |
| CV-Bench 2D / 3D | 视觉中心理解 | Table 3 里 Gestalt 78.9 / 86.1，均超过 BAGEL 的 77.7 / 84.2。 |
| MMLU | 纯文本知识与推理 | 5-shot。 |
| TruthfulQA | 文本真实性与抗误导 | 5-shot，报 MC2。 |
| WinoGrande |  commonsense 指代消解 | 5-shot。 |
| HellaSwag | 常识续写 | 0-shot。 |
| ARC-E / ARC-C | 科学问答 Easy / Challenge | 0-shot；Gestalt 在这两项提升最大（+15.57 / +15.02）。 |
| MIB-V / MIBench-Visual | 视觉特有信息能力 | Table 6 的视觉类指标；LLaDA-o 60.31 略高于 Gestalt 59.89。 |
| CoreCog-SM | 基础感知运动认知 | CoreCognition 的 Sensorimotor 子集。 |
| MM-IMDb | 跨模态协同 | 电影多模态分类，需联合图文信息；Gestalt 67.07，领先幅度 +15.53。 |
| SRBench | 空间关系推理 | 协同类指标；Gestalt 53.17。 |
| DOCCI | 表征可视化数据源 | 不是评分基准；3.3 节用它取图文对做第 24 层表征可视化。 |
| FGRS / FGRC | 遥感细粒度识别 / 关系推理 | 附录 7.2 的领域迁移评测。 |

### 19.3 参评模型（14 组）

| 模型 | 所属组别 | 在论文里的角色 |
|---|---|---|
| DALL-E-3 / SD-3.5-Large / OmniGen2 | 生成专用 | UniGenBench 参照组。 |
| PixArt-Sigma / FLUX.1 Pro / MidJourney V7 / SD 3.5 Large | 生成专用 | TIIF-Bench 参照组。 |
| Emu3 | 统一 · 自回归 | next-token prediction 路线；UniGenBench 50.95。 |
| Show-o2 | 统一 · 混合 | 改进版原生统一模型；纯文本 MMLU 71.70，为 Table 5 全表最高。 |
| Janus-Pro | 统一 · 自回归 | 理解与生成统一；TIIF / 纯文本参照。 |
| BAGEL | 统一 · 自回归 | Table 3 唯一的 AR 参照，MME-P 1687.0 为全表最高。 |
| MMaDA | 统一 · 扩散 | 多模态大扩散语言模型。 |
| Lumina-DiMOO | 统一 · 扩散 | Table 1 统一组最高 71.81；Table 4 表征偏移最大。 |
| LaViDA-o / LaViDa-O | 统一 · 扩散 | 论文两处大小写不一致，本站照录原表写法。 |
| LLaDA-o | 统一 · 扩散 | Table 6 的 MIB-V 60.31 略高于 Gestalt。 |
| Omni-diffusion | 统一 · 扩散 | 掩码离散扩散统一模型。 |
| Qwen3.8-9B-Distill | 统一 · 自回归（对照） | 3.3 节表征可视化对照；因无官方 9B checkpoint，论文改用蒸馏版并给出脚注说明。 |
| GeoChat / SkySenseGPT | 遥感专用 | 附录 7.2 的领域参照；SkySenseGPT 用 1.415M 遥感样本。 |
| Kimi K3 / Qwen 3.8 / LLaVA / Qwen2.5-VL | 引言提及 | 用于说明「架构兼容 → 数据兼容」的演进，不在评测表里。 |

### 19.4 机构编号

| 编号 | 机构 |
|---|---|
| 1 | 中国人民大学高瓴人工智能学院（北京） |
| 2 | 大模型与智慧治理北京市重点实验室 |
| 3 | 北京航空航天大学 |
| 4 | 北京邮电大学 |
| 5 | 上海人工智能实验室 |
| 6 | AresoX |

### 19.5 作者与分工

| 作者 | 机构编号 | 分工（据 Author Contributions） |
|---|---|---|
| Zequn Yang | 1,2 | 共同一作；项目整体推进；模型预训练与 SFT；架构与核心实验；论文写作 |
| Yu Miao | 1,2 | 共同一作；架构与核心实验；数据处理与组织；图像生成能力评测 |
| Haotian Ni | 3 | 共同一作；架构与核心实验；多模态理解评测 |
| Ziheng Chen | 1,2 | 共同一作；数据处理与组织；纯文本能力评测 |
| Chengxiang Huang | 4 | 共同一作；数据处理与组织 |
| Dongzhan Zhou | 5 | 技术设计与方法论讨论 |
| Kai Chen | 5 | 技术设计与方法论讨论 |
| Qi Zhang | 5 | 技术设计与方法论讨论 |
| Ji-Rong Wen | 1,2 | 技术设计与方法论讨论 |
| Yake Wei | 1,2 | 团队负责人；项目整体推进；论文写作与修订；监督指导 |
| Di Hu | 1,2,6 | 通讯作者、团队负责人；发起项目；论文写作与修订；监督指导 |

† 共同一作（前五位），‡ 团队负责人，✉ 通讯作者 Di Hu；标 * 者部分工作在上海人工智能实验室实习期间完成。分工文字依据 README 与论文 Acknowledgments 段。

---

## 20 · 常见问题（15 条）

**1. 这个中文站是官方的吗？**

不是。本站是第三方中文整理，与论文作者、GeWu-Lab 及各所属机构无关联，不提供模型调用，也不托管权重。

**2. 为什么中文网上有完全不同的两个 Gestalt？**

至少四个同名对象：本模型、匿名 stealth 设计模型、格式塔心理学、其他同名产品。中文圈常把本模型误当成匿名设计模型的出处，无任何公开确认。看同名辨析页。

**3. 模型有多大？参数量多少？**

官方只写基座 LLaDA-8B-Instruct，论文、主页、README 都没有给出 Gestalt 自身参数量、训练算力与耗时。本站不推测。

**4. 能直接体验吗？**

官方主页给了 Hugging Face Space Demo 链接，但本站建站时本机网络访问 Hugging Face 未成功，因此不写「可正常体验」，只原样列完整地址。请以官方页面当前状态为准。

**5. 许可证是 Apache 2.0 吗？**

README 这么写，但同一句后留着 TODO: confirm license，仓库根目录没有 LICENSE 文件，GitHub API 的 license 字段也为空。本站按「待核实」处理，商用或二次分发请自行向官方确认。

**6. 论文是 CC BY 4.0 吗？**

arXiv 页面标注 CC BY 4.0。本站只做要点转述与数字照录，不整段搬运论文正文。

**7. SFT 数据能下载吗？**

README 写 SFT data coming soon，截至 2026-11-20 核对日尚未放出。

**8. 交互 token 为什么是 32 个？**

论文只说使用 32 个可学习交互 token，没有给出取这个数目的消融或理由。本站不补解释。

**9. Zone II 有多少层？**

Figure 2 把两区段写作 N1 / N2 层，正文只明确前 4 层为 Zone I，未给 N2 数值。本站不推测。

**10. 为什么 13.7M 之外还有 2.5M？**

13.7M 是理解与纯文本指令样本；另收 2.46M 文生图样本（官方约写作 2.5M），大致均匀分布到三个阶段，不参与四类交互的课程划分。

**11. 三阶段课程真的比均匀混合好吗？**

不是无条件更好。论文 Table 8 显示它改变的是能力出现的顺序：早期 MME-P +113.8 但 MMStar-P -4.44，到阶段 3 反转。论文原文是 progressively reshapes，不是 uniformly improves。

**12. Gestalt 是不是「全面超越」其他模型？**

不是。Table 3 的 MME-P（BAGEL 1687.0 > 1600.2）、Table 5 的 MMLU（Show-o2 71.70 > 49.50）、Table 6 的 MIB-V（LLaDA-o 60.31 > 59.89）、Table 1 的 Text（3.80）都不是第一。官方措辞带「在参评模型中」的限定。

**13. 为什么文生图推理输出的是 .npy 而不是图片？**

run_t2i.py 输出的是 VQ-VAE 离散 token；要得到图片还需经过解码环节。README 给的就是这条命令与这个输出。

**14. 训练时最容易踩的坑是什么？**

checkpoint 目录必须含 tokenizer.json；Parquet 文件数不能少于分布式进程数；T2I 默认空 system prompt，若训练数据用了固定非空系统提示词，推理时要通过 --system-prompt 传同一段文字。

**15. 发现数字对不上怎么办？**

先看核对日期与来源。官方页面与仓库可能更新，本站所有数字带「最后核对」时间戳；以官方原文为准，本站按「改错留痕」原则修订。

---

## 21 · 同名辨析

中文信息里最容易出的一次错，是把这个开源多模态论文当成另一个匿名设计模型的「出处」。两者只是同名。

| # | 叫什么 | 是什么 | 时间 | 可核对程度 |
|---|---|---|---|---|
| ① | Gestalt: Large Multimodal Interplay Model | 本文档主体。人大高瓴 GeWu-Lab 等的开源统一多模态大模型 | 2026-09 底放出权重与代码 | 论文、代码、权重、项目主页、九张表齐备 |
| ② | Gestalt（stealth，匿名设计模型） | Contra Labs × BenchFlow「Frontier Design Benchmark」榜单上的匿名模型，考完整网站交付 | 2026-11 中旬进入中文视野 | 官方未披露开发方、参数、定价、作品；只有榜单成绩 |
| ③ | 格式塔心理学 | 20 世纪初德国心理学学派，「整体大于部分之和」 | 20 世纪初 | 公共知识；是 ① 的名字来源 |
| ④ | 其他同名 | iOS 上的 MobileGestalt 编辑器 GestaltX、同名公路车、格式塔疗法培训等 | 各自不同 | 搜索噪声，与模型无关 |

**截至 2026-11-20，没有任何一方公开确认 ① 与 ② 存在关联。** 本文档不参与指认、不做身份猜测，只把可核对的差异摆出来。① 主打图像生成与多模态理解，② 考的是带品牌素材与转化目标的完整网站交付，任务集都不是一回事。

一句话记法：有论文、有 8B 基座、有 32 个交互 token、有九张表的，是本文档这个；只有 Elo 和一堆猜测的，是另一个。

---

## 22 · 一手来源

| 来源 | 完整地址 | 本文档用途 | 核对状态 | 核对日期 |
|---|---|---|---|---|
| 官方项目主页 | https://gewu-lab.github.io/Gestalt/ | 项目定位、架构、训练数据、全部评测表格 | 已核对 | 2026-11-20 |
| 论文摘要页 | https://arxiv.org/abs/2610.00576 | 标题、作者、摘要、版本日期、页数、DOI | 已核对 | 2026-11-20 |
| 论文全文（HTML） | https://arxiv.org/html/2610.00576v2 | 基座、32 个交互 token、前 4 层 Zone I、码本、训练细节、讨论 | 已核对 | 2026-11-20 |
| 代码仓库 | https://github.com/GeWu-Lab/Gestalt | 快速上手、推理命令、数据格式、引用、许可证、更新动态 | 已核对 | 2026-11-20 |
| 模型权重 | https://huggingface.co/GeWu-Lab/Gestalt | 权重下载（官方项目页与 README 均指向此处） | 本机网络未核实 | 2026-11-20 |
| 在线 Demo | https://huggingface.co/spaces/hugging-apps/gestalt | 官方项目页 Demo 入口 | 本机网络未核实 | 2026-11-20 |
| 论文 DOI | https://doi.org/10.48550/arXiv.2610.00576 | arXiv 签发的 DOI | 已核对（由 arXiv 页给出） | 2026-11-20 |
| 同名匿名设计模型榜单 | https://contralabs.com/frontierdesign/leaderboard | 仅用于同名辨析，与本站主体无关 | 非本站主体，仅作辨析 | 2026-11-20 |

链接一律给完整 `https://` 地址，复制即可用。「本机网络未核实」是如实记录建站时的网络情况，不代表链接失效。

**版权口径**：不搬运官方示意图、示例生成图、机构标识、微信群二维码；站内几何图示与三角形标识均为自绘并标注依据；色值取官方既有三色仅作语义呼应。

---

## 23 · 覆盖对照与边界

### 23.1 内容域 → 文档章节 → 站点页面

| 内容域 | 本文档章节 | 站点页面 |
|---|---|---|
| 身份与来源 | 模型概览 · 一手来源 | 首页、模型概览、一手来源、关于本站 |
| 论文逐章与形式化目标 | 论文精读 | 论文精读 |
| 金字塔 / Zone I-II / 交互 token | 方法与架构 | 首页、方法与架构 |
| 训练数据、四类交互、清洗流程 | 数据与训练 | 数据与训练 |
| 训练配置全参数、依赖、启动脚本 | 数据与训练 | 数据与训练、上手与资源、仓库结构 |
| 主结果五张表 | 评测数据 | 评测数据 |
| 表征 / 课程 / 遥感 / 定性 | 分析实验 | 分析实验 |
| 评测基准与参评模型 | 术语与词典 | 术语与词典 |
| 代码仓库结构与文件清单 | 上手与资源 | 仓库结构、上手与资源 |
| 快速上手、数据格式、引用 | 上手与资源 | 上手与资源 |
| 术语、常见问题、作者分工 | 术语与词典 / 常见问题 | 术语与词典、常见问题、模型概览 |
| 同名辨析、时间线、许可证缺口 | 附录 | 同名辨析、关于本站、内容全集 |

### 23.2 站点全部 19 页

- **首页**（`index.html`）—— 模型档案、金字塔示意、已核实 / 待核实双栏、关键数字、时间线
- **模型概览**（`overview/index.html`）—— 全称、机构、11 位作者与分工、名字来源、四个官方入口、发布节奏
- **方法与架构**（`method/index.html`）—— 金字塔三层、Zone I / Zone II、32 个交互 token、离散扩散、三阶段课程
- **数据与训练**（`data-training/index.html`）—— 三阶段数据、13.7M 四类构成、清洗流程、Stage-III 全参数、依赖与约束
- **评测数据**（`benchmarks/index.html`）—— 论文 Table 1 / 2 / 3 / 5 / 6 五张主评测表全量数字与读法
- **分析实验**（`analysis/index.html`）—— Table 4 / 8 / 9 三张补充表、表征可视化、交互 token 分析、定性与讨论
- **上手与资源**（`quickstart/index.html`）—— 环境、权重、两类推理、训练、数据格式、引用、许可证提示
- **论文精读**（`paper/index.html`）—— v2 逐章要点、九张表位置对照、48 条参考文献题录
- **仓库结构**（`repo/index.html`）—— 官方仓库主要文件、三类任务与脚本映射、模型实现模块、元数据
- **术语与词典**（`glossary/index.html`）—— 26 条核心术语、20 个基准、14 组参评模型、作者与机构编号
- **常见问题**（`faq/index.html`）—— 15 个高频问题与「不推测」的回答口径
- **内容全集索引**（`contents/index.html`）—— 全站页面清单、覆盖对照、覆盖边界与官方未给项
- **同名辨析**（`samename/index.html`）—— 四个同名对象对照与常见误认的成因
- **一手来源**（`sources/index.html`）—— 全部官方链接、用途、核对状态与版权口径
- **关于本站**（`about/index.html`）—— 非官方声明、编辑原则、置信度分级、标识与免责
- **中文图解**（`diagrams/index.html`）—— 8 张自绘中文示意图：金字塔、两个 Zone、四类交互、数据构成、三阶段课程、主评测、表征保留、课程消融
- **全站搜索**（`search/index.html`）—— 全站条目静态索引，可按关键词本地过滤；不联网、不记录输入
- **完整文档**（`handbook/index.html`）—— 《Gestalt 内容全集》25 章单页长文，与站点同源同数，附原文下载
- **上游变更日志**（`changelog/index.html`）—— 上游一手来源的自动快照比对、当前指标、变化记录与未核实项

### 23.3 站点骨架与全站检索（2026-11-20 定稿）

- **统一两栏**：19 页一律「左栏 272px + 右主区」，主区实测宽度一致，不再有窄页 / 宽页两套版式；窄屏自动改为上下单栏，导航与索引一律全开、用两列排版压缩高度。
- **左栏全开**：分组导航 19 页与 19 页 / 25 章静态索引默认全部展开，左栏不设独立上下拖动条，随页面整体滚动；禁用脚本时这些条目仍可直接读到。
- **搜索入口与结果**：左栏顶部搜索框每页都有，旁边只有一个「搜」按钮，点它或按回车才检索，不在输入过程中改动正文；结果整块显示在右侧主区，按命中权重排序并高亮，点「返回本页内容」回到原页面；`/search/` 页另有 274 条结构化条目与 1381 条正文全文条目静态直出。
- **索引覆盖**：构建时逐块抽取 19 页真实 HTML 的章节、段落、表格行、图注与代码，每条带唯一锚点，点结果直达对应段落；加上 274 条结构化条目，共 1655 条可检索。
- **分词口径**：英文与数字整词保留（如 `LLaDA-8B-Instruct`、`0.99677`）；中文取整词 + 二元切分（bigram），中英连写自动拆词；多个词段之间需同时命中，整词优先、二元片段需过半命中，避免泛召回；结果按权重排序并高亮命中片段。
- **边界**：只做字面匹配，不做语义检索；不联网、不记录输入、不写存储；全站唯一两个外部脚本分别是静态索引数据与本地检索增强，主体内容始终直接写在 HTML 源码里。

### 23.4 上游资料的覆盖边界

- **已全量收录**：论文 v2 的 1–5 节与附录 6、7 全部要点；九张表所有数字；48 条参考文献题录；官方项目主页四节评测表；仓库 README 全部段落；Stage-III 配置、依赖、启动脚本、文件树。
- **只转述不搬运**：论文正文段落、官方示例图、官方示意图、机构标识、微信群二维码。站内 8 张几何图示均自绘并标注依据。
- **不覆盖**：权重文件内容、SFT 数据集本体、在线 Demo 的实际输出、第三方复现结果、社区身份猜测。

**工具页不算新事实**：中文图解、全站搜索、完整文档（本文件的在线版）与上游变更日志，都是把已收录内容换一种读法或做留痕，不引入新的模型结论。变更日志里的「内容指纹」只说明上游页面字节变了，不等于结论变了。

### 23.5 官方没给的空格子（不补推测值）

- 许可证：README 写 Apache 2.0，但留有 TODO 待确认注释，仓库根目录无 LICENSE 文件
- SFT 数据：官方 README 写 SFT data coming soon，尚未放出
- 模型权重与在线 Demo：官方页与 README 均给出链接，本机网络未能访问 Hugging Face，未核对当前可访问性与下载量
- 论文没有给出参数量、interplay token 之外的层数分配细节与训练算力，本站不推测
- 官方项目页与 README 未标注最新维护状态；仓库最后推送为 2026-10-10

另外还有：Zone II 具体层数、32 个交互 token 的选取依据与消融、单次推理成本与耗时。

### 23.6 自动更新机制（2026-11-20 起）

- **定时**：每天 09:00 跑一次 `tools/news_watch.py publish`；全链路只在本地执行，服务器只接收最终静态产物，不跑采集、不跑 AI 任务。
- **官方一手**：GitHub 提交／Release、README News、arXiv Atom 版本与 HF 权重提交，与 `data/news_baseline.json` 比对，新动态写进 `data/news.json`；`tools/snapshot_diff.py` 另比对七组元数据与内容指纹，变化追加到 `data/changelog.json`。抓不到就记「未核实」，不推测、不复用旧值。
- **第三方**：定时检索官方之外的报道、评论与同名动态，补录进同一份消息表。**一律标「待核实」或「仅留痕」**，不写入首页「已核实」栏；同名设计模型的身份猜测只做辨析留痕，不认领、不竞猜。
- **发布闸门**：`publish` 依次执行采集 → `build.py` 重建 → `verify.py` 验收 → `deploy.py push` 部署 → `deploy.py check` 复核，任一步失败即停；通过后才更新线上 `/changelog/` 的「最新消息」表与核对时间。
- **事实改动口径**：只有一手来源可核对的新事实才允许改 `data/snapshot.json` 与正文页，并同步核对日期；第三方消息不触发结论改动。没有新动作时只更新核对时间，不制造变更。
- **免密**：部署走本机专用密钥，定时任务无需保存或传递密码。

---

## 24 · 参考文献（48 条）

题录从论文 HTML 全文 References 段提取，保留作者、年份、标题与出处，去掉 LaTeX 转换残留的 Cited by 标记。完整原文见 https://arxiv.org/html/2610.00576v2 。

1. H. Liu, C. Li, Q. Wu, and Y. J. Lee (2023) Visual instruction tuning. Advances in neural information processing systems 36, pp. 34892–34916.

2. S. Bai, K. Chen, X. Liu, J. Wang, W. Ge, S. Song, K. Dang, P. Wang, S. Wang, J. Tang, H. Zhong, Y. Zhu, M. Yang, Z. Li, J. Wan, P. Wang, W. Ding, Z. Fu, Y. Xu, J. Ye, X. Zhang, T. Xie, Z. Cheng, H. Zhang, Z. Yang, H. Xu, and J. Lin (2025) Qwen2.5-vl technical report. arXiv:2502.13923.

3. Kimi Team et al. (2026) Kimi K3: open frontier intelligence. arXiv:2607.24653.

4. B. E. Stein and M. A. Meredith (1993) The merging of the senses. MIT press.

5. M. S. Gazzaniga, R. B. Ivry, and G. R. Mangun (2011) Cognitive neuroscience: the biology of the mind. W. W. Norton.

6. X. Tang, J. Wu, and Y. Shen (2016) The interactions of multisensory integration with endogenous and exogenous attention. Neuroscience & Biobehavioral Reviews 61, pp. 208–224.

7. W. Köhler (1967) Gestalt psychology. Psychologische forschung 31 ( 1 ), pp. XVIII–XXX.

8. F. Shi, Z. Luo, Y. Ge, Y. Yang, Y. Shan, and L. Wang (2025) Scalable image tokenization with index backpropagation quantization. In 2025 IEEE/CVF International Conference on Computer Vision (ICCV), pp. 16037–16046.

9. S. Nie, F. Zhu, Z. You, X. Zhang, J. Ou, J. Hu, J. Zhou, Y. Lin, J. Wen, and C. Li (2026) Large language diffusion models. Advances in Neural Information Processing Systems 38, pp. 50608–50646.

10. X. An, Y. Xie, K. Yang, W. Zhang, X. Zhao, Z. Cheng, Y. Wang, S. Xu, C. Chen, D. Zhu, et al. (2025) Llava-onevision-1.5: fully open framework for democratized multimodal training. arXiv preprint arXiv:2509.23661.

11. J. Guo, T. Zheng, Y. Li, Y. Bai, B. Li, Y. Wang, K. Zhu, G. Neubig, W. Chen, and X. Yue (2025) Mammoth-vl: eliciting multimodal reasoning with instruction tuning at scale. In Proceedings of the 63rd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 13869–13920.

12. L. Wiedmann, O. Zohar, A. Mahla, X. Wang, R. Li, T. Frere, L. von Werra, A. R. Gosthipaty, and A. Marafioti (2025) Finevision: open data is all you need. arXiv preprint arXiv:2510.17269.

13. W. Wang, Z. Gao, L. Gu, H. Pu, L. Cui, X. Wei, Z. Liu, L. Jing, S. Ye, J. Shao, et al. (2025) Internvl3. 5: advancing open-source multimodal models in versatility, reasoning, and efficiency. arXiv preprint arXiv:2508.18265.

14. K. Zou, Z. Zhao, B. Liu, and N. Yu (2026) Advancing aesthetic image generation via composition transfer. International Journal of Computer Vision 134, pp. 252.

15. J. Chen, Z. Cai, P. Chen, S. Chen, K. Ji, X. Wang, Y. Yang, and B. Wang (2025) Sharegpt-4o-image: aligning multimodal models with gpt-4o-level image generation. arXiv preprint arXiv:2506.18095.

16. J. Chen, Z. Xu, X. Pan, Y. Hu, C. Qin, T. Goldstein, L. Huang, T. Zhou, S. Xie, S. Savarese, et al. (2025) Blip3-o: a family of fully open unified multimodal models-architecture, training and dataset. arXiv preprint arXiv:2505.09568.

17. J. Betker, G. Goh, L. Jing, T. Brooks, J. Wang, L. Li, L. Ouyang, J. Zhuang, J. Lee, Y. Guo, W. Manassra, P. Dhariwal, C. Chu, Y. Jiao, and A. Ramesh (2023) Improving image generation with better captions. Technical report OpenAI.

18. B. F. Labs (2024) FLUX. Note: https://github.com/black-forest-labs/flux.

19. C. Deng, D. Zhu, K. Li, C. Gou, F. Li, Z. Wang, S. Zhong, W. Yu, X. Nie, Z. Song, et al. (2025) Emerging properties in unified multimodal pretraining. arXiv preprint arXiv:2505.14683.

20. X. Chen, Z. Wu, X. Liu, Z. Pan, W. Liu, Z. Xie, X. Yu, and C. Ruan (2025) Janus-pro: unified multimodal understanding and generation with data and model scaling. arXiv preprint arXiv:2501.17811.

21. Y. Wang, Z. Li, Y. Zang, J. Bu, Y. Zhou, Y. Xin, J. He, C. Wang, Q. Lu, C. Jin, et al. (2025) UniGenBench++: a unified semantic evaluation benchmark for text-to-image generation. arXiv preprint arXiv:2510.18701.

22. X. Wei, J. Zhang, Z. Wang, H. Wei, Z. Guo, and L. Zhang (2025) TIIF-bench: how does your t2i model follow your instructions?. arXiv preprint arXiv:2506.02161.

23. C. Fu, P. Chen, Y. Shen, Y. Qin, M. Zhang, X. Lin, J. Yang, X. Zheng, K. Li, X. Sun, et al. (2026) MME: a comprehensive evaluation benchmark for multimodal large language models. In Advances in Neural Information Processing Systems, Vol. 38.

24. D. A. Hudson and C. D. Manning (2019) GQA: a new dataset for real-world visual reasoning and compositional question answering. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 6700–6709.

25. L. Chen, J. Li, X. Dong, P. Zhang, Y. Zang, Z. Chen, H. Duan, J. Wang, Y. Qiao, D. Lin, et al. (2024) Are we on the right way for evaluating large vision-language models?. Advances in Neural Information Processing Systems 37, pp. 27056–27087.

26. Y. Li, Y. Du, K. Zhou, J. Wang, X. Zhao, and J. Wen (2023) Evaluating object hallucination in large vision-language models. In Proceedings of the 2023 conference on empirical methods in natural language processing, pp. 292–305.

27. xAI (2024) Grok-1.5 vision preview. Note: https://x.ai/news/grok-1.5v Accessed: 2026-05-20.

28. S. Tong, Z. Liu, Y. Zhai, Y. Ma, Y. LeCun, and S. Xie (2024) Eyes wide shut? exploring the visual shortcomings of multimodal LLMs. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 9568–9578.

29. S. Tong, E. Brown, P. Wu, S. Woo, M. Middepogu, S. C. Akula, J. Yang, S. Yang, A. Iyer, X. Pan, A. Wang, R. Fergus, Y. LeCun, and S. Xie (2024) Cambrian-1: a fully open, vision-centric exploration of multimodal llms. arXiv:2406.16860.

30. L. Yang, Y. Tian, B. Li, X. Zhang, K. Shen, Y. Tong, and M. Wang (2026) Mmada: multimodal large diffusion language models. Advances in Neural Information Processing Systems 38, pp. 138867–138907.

31. Y. Xin, Q. Qin, S. Luo, K. Zhu, J. Yan, Y. Tai, J. Lei, Y. Cao, K. Wang, Y. Wang, et al. (2025) Lumina-dimoo: an omni diffusion large language model for multi-modal generation and understanding. arXiv preprint arXiv:2510.06308.

32. S. Li, K. Kallidromitis, H. Bansal, A. Gokul, Y. Kato, K. Kozuka, J. Kuen, Z. Lin, K. Chang, and A. Grover (2026) Lavida: a large diffusion language model for multimodal understanding. Advances in Neural Information Processing Systems 38, pp. 105101–105134.

33. Z. You, S. Nie, X. Zhang, J. ZHOU, Z. Lu, J. Wen, and C. Li (2026) Llada-v: large language diffusion models with visual instruction tuning. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 10093–10105.

34. L. Li, Z. Long, Y. Shen, H. Gao, H. Cao, X. Sun, C. Shan, R. He, and C. Fu (2026) Omni-diffusion: unified multimodal understanding and generation with masked discrete diffusion. arXiv preprint arXiv:2603.06577.

35. Y. Onoe, S. Rane, Z. Berger, Y. Bitton, J. Cho, R. Garg, A. Ku, Z. Parekh, J. Pont-Tuset, G. Tanzer, et al. (2024) Docci: descriptions of connected and contrasting images. In European Conference on Computer Vision, pp. 291–309.

36. J. Xie, Z. Yang, and M. Z. Shou (2026) Show-o2: improved native unified multimodal models. Advances in Neural Information Processing Systems 38, pp. 47490–47518.

37. Y. Miao, Z. Yang, Y. Wei, Z. Chen, H. Ni, H. Duan, K. Chen, and D. Hu (2026) Mibench: evaluating lmms on multimodal interaction. arXiv preprint arXiv:2603.13427.

38. Y. Li, Q. Gao, T. Zhao, B. Wang, H. Sun, H. Lyu, R. D. Hawkins, N. Vasconcelos, T. Golan, D. Luo, et al. (2024) Core knowledge deficits in multi-modal language models. arXiv preprint arXiv:2410.10855.

39. J. Arevalo, T. Solorio, M. Montes-y-Gómez, and F. A. González (2017) Gated multimodal units for information fusion. arXiv preprint arXiv:1702.01992.

40. I. Stogiannidis, S. McDonagh, and S. A. Tsaftaris (2025) Mind the gap: benchmarking spatial reasoning in vision-language models. arXiv preprint arXiv:2503.19707.

41. S. Zhao, X. Zhang, J. Guo, J. Hu, L. Duan, M. Fu, Y. X. Chng, G. Wang, Q. Chen, Z. Xu, et al. (2025) Unified multimodal understanding and generation models: advances, challenges, and opportunities. arXiv preprint arXiv:2505.02567.

42. C. Team (2024) Chameleon: mixed-modal early-fusion foundation models. arXiv preprint arXiv:2405.09818.

43. X. Wang, X. Zhang, Z. Luo, Q. Sun, Y. Cui, J. Wang, F. Zhang, Y. Wang, Z. Li, Q. Yu, et al. (2024) Emu3: next-token prediction is all you need. arXiv preprint arXiv:2409.18869.

44. R. Yu, X. Ma, and X. Wang (2025) Dimple: discrete diffusion multimodal large language model with parallel decoding. arXiv preprint arXiv:2505.16990.

45. C. Zhou, L. Yu, A. Babu, K. Tirumala, M. Yasunaga, L. Shamis, J. Kahn, X. Ma, L. Zettlemoyer, and O. Levy (2025) Transfusion: predict the next token and diffuse images with one multi-modal model. In International Conference on Learning Representations, Vol. 2025, pp. 6446–6469.

46. J. Xie, W. Mao, Z. Bai, D. J. Zhang, W. Wang, K. Q. Lin, Y. Gu, Z. Chen, Z. Yang, and M. Z. Shou (2025) Show-o: one single transformer to unify multimodal understanding and generation. In International Conference on Learning Representations, Vol. 2025, pp. 28240–28264.

47. A. Aghajanyan, L. Yu, A. Conneau, W. Hsu, K. Hambardzumyan, S. Zhang, S. Roller, N. Goyal, O. Levy, and L. Zettlemoyer (2023) Scaling laws for generative mixed-modal language models. In International Conference on Machine Learning, pp. 265–279.

48. J. Luo, Z. Pang, Y. Zhang, T. Wang, L. Wang, B. Dang, J. Lao, J. Wang, J. Chen, Y. Tan, et al. (2024) Skysensegpt: a fine-grained instruction tuning dataset and model for remote sensing vision-language understanding. arXiv preprint arXiv:2406.10100.

---

**文档结束** · 本站／本文档最后核对 2026-11-20 · 内容是对公开资料的非官方整理，可能滞后或有疏漏，不构成使用建议、授权结论或性能承诺。涉及许可、商用与二次分发，请自行向官方确认。
