全站搜索结果
完整文档 · 25 章
Gestalt 内容全集
非官方中文资料汇编 · 核对日 2026-11-20 · 与 gestaltx.org 同源同数
整理对象:Gestalt: Large Multimodal Interplay Model(大型多模态交互模型)
本文件与站点页面共用data/下的同一份快照由脚本生成,数字不会各写各的。
0 · 关于这份文档
性质:第三方中文整理,与论文作者、GeWu-Lab 及各所属机构无关联;不提供模型调用,不托管权重,不接推广。
来源口径:论文全文 v2、官方项目主页、代码仓库 README 与仓库内配置文件、arXiv 元数据、GitHub API。中文资讯稿只用于了解误读,不作事实依据。所有数字照录,未复现、未重算;官方自己说法不一致时并列展示,不替官方调和。
置信度:能点回一手来源并人工比对的写「已核实」;官方留了待确认标记、本机网络未核实或官方根本没给的,一律放进缺口清单,不推测填空。
覆盖统计
| 项目 | 数量 | 落点 |
|---|---|---|
| 论文表格 | 9 张(Table 1–9 全部) | 第 10、11 章 + 站点评测/分析/数据页 |
| 参考文献题录 | 48 条 | 第 24 章 + 论文精读页 |
| 核心术语 | 26 条 | 第 19 章 + 术语与词典页 |
| 评测基准 | 20 个 | 第 19 章 |
| 参评模型组 | 14 组 | 第 19 章 |
| 常见问题 | 15 条 | 第 20 章 + 常见问题页 |
| 作者 / 机构 | 11 位 / 6 所 | 第 19 章 |
| Stage-III 超参 | 40 项 | 第 8 章 + 数据与训练页 |
| 仓库主要文件 | 21 项 | 第 16 章 + 仓库结构页 |
| 站点页面 | 19 页 | 第 23 章 + 内容全集索引页 |
| 自绘中文图解 | 8 张 | 中文图解页(数字取自同一份快照) |
| 全站检索索引 | 1655 条(274 结构化 + 1381 正文块) | 左栏输入 / 右主区出结果 + 全站搜索页(正文逐块带锚点) |
| 上游观测指标 | 19 项(13 可核对 / 6 未核实) | 上游变更日志页 |
在线阅读:这份文档本身也在站内,见 https://gestaltx.org/handbook/(25 章单页长文,纯静态 HTML),并提供 Markdown 原文下载。本文档、站点页面、图解、全文检索索引共用 build.py、tools/md2html.py 与 tools/make_doc.py 生成,改数据后四者一起变。
1 · 它是什么
一句话:Gestalt 是一个围绕「多模态交互」组织起来的统一模型 —— 同一个离散扩散框架里同时做图像生成、多模态理解和纯文本任务,而不是三套模型拼起来。它真正追问的不是「再接一种模态」,而是图像与文本各自独有的信息、共有的信息、以及只有合起来才出现的信息,能不能被同一个模型分别对待。
1.1 身份卡
| 字段 | 内容 |
|---|---|
| 英文全称 | Gestalt: Large Multimodal Interplay Model |
| 中文可译作 | 大型多模态交互模型(本站译法,非官方定名) |
| 论文编号 | arXiv:2610.00576(v1 2026-09-30,v2 2026-10-08,17 页 7 图) |
| DOI | https://doi.org/10.48550/arXiv.2610.00576 |
| 基座 | LLaDA-8B-Instruct |
| 框架 | 统一离散扩散(unified discrete diffusion) |
| 图像表示 | IBQ,视觉码本 16,384 项,并入语言词表;交错 MRoPE 保留二维空间位置 |
| 交互 token | 32 个,可学习 |
| Zone I | 前 4 层 Transformer;其余层为 Zone II |
| 训练数据 | 70M 图文对预训练 + 8M 条件持续预训练 + 13.7M 指令微调(另含约 2.5M 文生图样本) |
| 主要机构 | 中国人民大学高瓴人工智能学院、大模型与智慧治理北京市重点实验室、北京航空航天大学、北京邮电大学、上海人工智能实验室、AresoX |
| 发布时间 | 2026-09-30 放出权重与训练/推理代码(据官方 README 的 News) |
| 许可证 | README 声明 Apache 2.0,但同句后留有 TODO: confirm license,且仓库根目录未见 LICENSE 文件 —— 使用前请以官方仓库为准 |
1.2 名字从哪来
README 与论文脚注都写明:名字取自格式塔心理学(Gestalt psychology)那句「整体大于部分之和」(the whole is greater than the sum of its parts)。放在这个模型上很贴切 —— 它关心的正是图像与文本合起来之后多出来的那部分信息。论文引用的是 W. Köhler 1967 年发表于 Psychologische Forschung 的 Gestalt psychology。
1.3 发布节奏
| 日期 | 事件 | 依据 |
|---|---|---|
| 2026-09-29 | 代码仓库 GeWu-Lab/Gestalt 创建 | GitHub API created_at |
| 2026-09-30 | 放出模型权重与训练/推理代码;论文 v1 提交 arXiv | 官方 README News |
| 2026-10-02 | README 公告 arXiv 论文上线 | 官方 README News |
| 2026-10-08 | 论文 v2 修订版,17 页、7 图,arXiv 页标注 CC BY 4.0 | arXiv 摘要页 |
| 2026-10-10 | 仓库最后一次推送 | GitHub API pushed_at 快照 |
| 待定 | SFT 数据 coming soon,截至核对日未放出 | 官方 README |
| 2026-11-20 | 本站/本文档逐条核对上述一手来源 | 本次整理 |
1.4 四个官方入口
- 官方项目主页:https://gewu-lab.github.io/Gestalt/ —— 项目定位、架构、训练数据、全部评测表格(已核对)
- 论文摘要页:https://arxiv.org/abs/2610.00576 —— 标题、作者、摘要、版本日期、页数、DOI(已核对)
- 论文全文(HTML):https://arxiv.org/html/2610.00576v2 —— 基座、32 个交互 token、前 4 层 Zone I、码本、训练细节、讨论(已核对)
- 代码仓库:https://github.com/GeWu-Lab/Gestalt —— 快速上手、推理命令、数据格式、引用、许可证、更新动态(已核对)
- 模型权重:https://huggingface.co/GeWu-Lab/Gestalt —— 权重下载(官方项目页与 README 均指向此处)(本机网络未核实)
- 在线 Demo:https://huggingface.co/spaces/hugging-apps/gestalt —— 官方项目页 Demo 入口(本机网络未核实)
2 · 问题背景:从架构兼容到交互
论文开头把大模态模型的演进划成三段:
| 阶段 | 代表工作 | 做法 | 论文指出的局限 |
|---|---|---|---|
| 架构兼容 | LLaVA、Qwen2.5-VL | 视觉编码器经 projector 接到预训练语言模型 | 模态是接上了,关系没被建模 |
| 数据兼容 | Kimi K3、Qwen 3.8 | 大规模混合模态语料在同一模型里联合预训练 | 把数据凑齐,仍不等于处理好了信息关系 |
| 交互(本文) | Gestalt | 显式区分模态特有、跨模态冗余、多模态协同三层信息 | —— |
核心判断是一句 more is different:多出来的不是数据,是新的信息关系。在单模态里,信息可能只存在于某一侧、被多侧共享、或只在组合后涌现;这三类关系构成了多模态交互,是多模态学习独有的性质。
论文借人类多感官知觉作类比:感官信息先在各通路内编码,再分阶段逐步整合成连贯表征。这个多阶段组织直接催生了下面的金字塔。
3 · 多模态交互金字塔
3.1 三层定义
| 层 | 名称 | 处理的信息 | 对应到模型 |
|---|---|---|---|
| 底层 | 模态特有信息建模 Modality-Specific | 只有单一模态才知道的信息:图像的颜色纹理、文本里的关系描述 | Zone I 的独立 FFN 与受限注意力;基座预训练已提供基础 |
| 中层 | 跨模态冗余对齐 Cross-Modal Redundancy | 两种模态都提到的共有内容,用来建立对应关系 | 78M 对齐图文对的联合/条件掩码预训练 |
| 顶层 | 多模态协同 Multimodal Synergy | 必须把互补线索合起来才能得到、任一单侧都给不出的结论 | Zone II 全模态整合 + 协同类指令数据 |
3.2 论文那个「两只狗」的例子
文本说:「我有两只狗。大的戴红项圈,小的戴蓝项圈。」图像给出可见的项圈颜色;两者共同提到的「草地上的金毛」建立跨模态对应。单看文本不知道哪只是小的,单看图像不知道大小与颜色的对应规则 —— 合起来才能认出画面里较小的那一只。这就是协同信息。
3.3 金字塔不只是比喻
论文明确说它同时落在三处:架构(Zone I / Zone II 分区)、数据组织(四类交互样本)、训练策略(三阶段课程)。这三处相互对齐,是本文与「把模态塞进同一个模型」类工作最大的区别。
4 · 统一离散扩散与形式化目标
4.1 统一的离散表示
- 固定的 VQ-VAE 编码器(IBQ)把图像变成离散 token,视觉码本 16,384 项,并入语言词表;仓库配置里
base_vocab_size 126464 + vqvae_codebook_size 16384 = extended_vocab_size 142848。 - 图像 token 与文本 token 排进同一序列,用交错 MRoPE 保留图像的二维空间位置。
- 底层是掩码扩散语言模型,双向注意力;视觉与文本 token 可以互为条件,没有自回归那种固定生成方向。
4.2 掩码扩散目标(论文公式 1)
对多模态序列 x = [xᵛ, xᵗ] 随机掩码一组位置 m,重建这些位置上的 token:掩码位置 token 的负对数似然求和取期望,条件为序列中未被掩码的部分。与自回归的关键差别是双向条件化 —— 图像可以条件于文本,文本也可以条件于图像。
4.3 两种掩码预测
| 目标 | 用在哪个阶段 | 做法 | 学到什么 |
|---|---|---|---|
| 联合掩码预测 Joint Masked Prediction | 多模态预训练(70M) | 视觉与文本 token 独立掩码、联合重建 | 模态内结构 + 双向跨模态依赖,建立联合分布 |
| 条件掩码预测 Conditional Masked Prediction | 持续预训练(8M)与 SFT(13.7M) | 留一个模态可见,掩码另一个并预测 | vision↔text 双向条件依赖,是联合建模与下游条件生成的桥梁 |
5 · 架构:两个 Zone 与交互 token
| 部件 | 设定 | 作用 |
|---|---|---|
| Interplay Zone I(瓶颈交互) | 论文指定前 4 层 Transformer;仓库 inter_layer_num: 4 印证 | 视觉与文本走各自独立 FFN,跨模态直连注意力受限,交换只能经交互 token 中介;先保住模态特有表征 |
| Interplay Zone II(全模态交互) | Zone I 之后的其余层;Figure 2 记为 N₂ | 解除限制,全模态自注意力 + 共享 FFN,图像/文本/交互 token 直接互通,建模协同信息 |
| 交互 token | 32 个可学习 token,贯穿两个 Zone | Zone I 里中介交换,Zone II 里继续聚合任务相关信息 |
| 视觉 FFN 初始化 | Zone I 新增的视觉 FFN 由 LLaDA 对应层文本 FFN 初始化 | 继承预训练能力,避免从零学起 |
| 基座 | LLaDA-8B-Instruct | 提供已具备的模态特有基础,所以多模态训练从中层冗余对齐起步 |
论文把两个 Zone 合起来概括为 preserve-then-integrate 路径:先专业化、再受控交换、最后完全整合。
论文没给的:Zone II 的具体层数(只写 N₁ / N₂)、Gestalt 自身参数量、32 这个交互 token 数量的选取依据或消融。这些格子本站留空。
6 · 训练数据
6.1 三阶段总表
| 阶段 | 数据量 | 训练目标 | 数据来源 |
|---|---|---|---|
| 多模态预训练 | 70M 图文对 | 联合掩码预测 | LLaVA-OneVision-1.5 |
| 条件持续预训练 | 8M 图文对 | 条件掩码预测 | 论文 3.1 节未单列 |
| 指令微调 Stage-III | 13.7M 指令样本 + 约 2.5M 文生图样本 | 条件掩码预测 + 四类交互数据 + 三阶段课程 | LLaVA-OneVision-1.5、MAmmoTH-VL、FineVision、InternVL;文生图来自 text-to-image-2M、ShareGPT-4o-Image、BLIP3o-60k |
前两阶段合称 78M 对齐图文对;所有阶段全参数可训练。
6.2 四类交互与 13.7M 的构成
SFT 样本按主导信息结构分为冗余 R、文本特有 Ut、视觉特有 Uv、协同 S。汇总:2.8M 冗余、4.2M 文本特有、4.0M 视觉特有、2.7M 协同,合计 13.7M。
补充表 B · 13.7M 指令数据的构成(论文 Table 7)
附录 6.2 把 13.7M 指令样本按主导交互类型组织。R=冗余、Uv=视觉特有、Ut=文本特有、S=协同。样本数与占比照录 Table 7。
| 主任务 / 子能力 | 样本数 | 占比 | 主要交互类型 |
|---|---|---|---|
| 多模态理解(MMU)· 合计 9.743M | |||
| 图像描述与场景理解 | 3.086M | 31.7% | R, Uv |
| 知识密集型视觉理解 | 2.105M | 21.6% | Ut, S |
| 通用 VQA 与指令遵循 | 1.630M | 16.7% | Uv, S |
| 物体、属性、状态与计数 | 1.558M | 16.0% | Uv |
| 场景文字与 OCR | 0.437M | 4.5% | Uv |
| 视觉定位与空间理解 | 0.366M | 3.8% | Uv, S |
| 幻觉抑制与难负样本 | 0.324M | 3.3% | Uv |
| 关系与组合推理 | 0.236M | 2.4% | S |
| 纯文本 · 合计 3.957M | |||
| 文本理解与知识 | 3.957M | 100.0% | Ut |
| 合计 | |||
| 指令数据总量 | 13.700M | – | R, Uv, Ut, S |
怎么读:四类交互的汇总口径:2.8M 冗余、4.0M 视觉特有、4.2M 文本特有、2.7M 协同,合计 13.7M(论文 2.2 节与附录 6.2 一致,只是列举顺序不同)。另有 2.46M 文生图样本不计入这张表,官方主页与 3.1 节把它约写作 ≈2.5M / 2.5M。
6.3 数据清洗与归类流程(附录 6)
- 预训练筛选:从 LLaVA-OneVision-1.5-Midtraining 选高质量图文对,用 Qwen3-VL-32B-Instruct 校验图文一致性,剔除弱对应/错配样本。
- SFT 多轮质控:VQ-VAE 压缩会丢细节,原本可答的样本在 token 化后可能不再可答。先规则过滤,再用 Qwen3-VL-32B-Instruct 验证「目标回答所需的视觉证据在 token 化后是否仍然存在」。
- 交互类型不逐条标注:在子任务层做 —— 每个子数据集随机抽 100 条,结合任务启发式与模型辅助校验,判断两模态是否提供重叠证据、预测主要依赖哪一侧、还是必须两者合用,再按聚合结果给整个子任务归类。
- 图像生成数据:另收 2.46M 条,不决定课程,大致均匀分布到三个阶段。
6.4 一个口径差异,照录不调和
同一批文生图样本,论文 3.1 节写 2.5M、附录 6.3 写 2.46M、官方项目主页与 README 写 ≈2.5M。三者并列留痕,本站不挑一个当「准数」。
7 · 三阶段课程与对照实验
四类数据全程都在,只调采样比例:阶段 1 巩固跨模态对齐与语言能力,阶段 2 强化视觉特有能力,阶段 3 推向更深的多模态整合。
补充表 C · 三阶段课程的对照实验(论文 Table 8)
从同一 CPT checkpoint 出发、只用 10% SFT 数据,比较「全程均匀混合」与「按交互类型排课程」。U=Uniform,C=Curriculum,Diff.=C 减 U。数字照录 Table 8。
| 指标 | 阶段 1 · U | 阶段 1 · C | 阶段 1 · Diff. | 阶段 2 · U | 阶段 2 · C | 阶段 2 · Diff. | 阶段 3 · U | 阶段 3 · C | 阶段 3 · Diff. |
|---|---|---|---|---|---|---|---|---|---|
| MMStar-P | 49.52 | 45.08 | -4.44 | 49.42 | 49.72 | +0.30 | 51.67 | 53.87 | +2.20 |
| MME-P | 917.1 | 1030.9 | +113.8 | 1135.8 | 1178.5 | +42.7 | 1249.5 | 1211.6 | -37.9 |
| MMVP | 26.67 | 28.00 | +1.33 | 32.67 | 26.00 | -6.67 | 29.33 | 31.33 | +2.00 |
| CVBench-2D | 68.64 | 68.08 | -0.56 | 73.02 | 72.11 | -0.90 | 73.99 | 74.62 | +0.63 |
怎么读:这张表最容易被误读成「课程更好」。实际结论是能力的出现顺序被改变了:早期偏冗余与文本,宽泛感知(MME-P +113.8)上来得快,细粒度感知反而落后;到阶段 3,MMStar-P(+2.20)与 CVBench-2D(+0.63)反超,MME-P 则转为 -37.9。论文自己写的是 progressively reshapes,不是 uniformly improves。
这张表最容易被误读成「课程更好」。论文原文的措辞是 *progressively reshapes the model toward different aspects of multimodal capability*,并明确写了 *does not simply provide a uniform gain across benchmarks*。真实结论是能力的出现顺序被改变:早期宽泛感知上来得快、细粒度感知落后;到后期反转。
8 · Stage-III 训练配置全参数
以下逐条照录仓库 configs/training/gestalt_stage_3.yaml、scripts/training/gestalt_sft.sh、configs/deepspeed/zero_stage2.json。这些是仓库默认值,不等于论文报告的最终超参。
8.1 序列与词表
| 参数 | 值 | 说明 |
|---|---|---|
| max_length | 8192 | 最大序列长度 |
| token_budget | 8192 | token 预算 |
| base_vocab_size | 126464 | 原语言词表大小 |
| vqvae_codebook_size | 16384 | 视觉码本大小(IBQ) |
| extended_vocab_size | 142848 | 扩展后词表 = 126464 + 16384 |
| inter_layer_state | interaction_token | 交互层状态类型 |
| inter_layer_num | 4 | Zone I 层数,与论文「前 4 层」一致 |
8.2 掩码与损失
| 参数 | 值 | 说明 |
|---|---|---|
| answer_mask_schedule | linear | 答案掩码调度;可选 cosine / linear / uniform |
| image_mask_schedule | linear | 图像掩码调度 |
| image_loss_weight | 0.1 | 图像损失权重 |
| loss_weight_mode | token | sample 按段归一;token 用 1/sqrt(L)/mask_ratio |
8.3 优化器与步数
| 参数 | 值 | 说明 |
|---|---|---|
| learning_rate | 1e-5 | 学习率 |
| lr_scheduler_type | constant | 常数调度 |
| warmup_steps | 200 | 预热步数 |
| adam_beta1 | 0.9 | AdamW β1 |
| adam_beta2 | 0.95 | AdamW β2 |
| adam_epsilon | 1.0e-8 | AdamW ε |
| weight_decay | 0.1 | 权重衰减 |
| max_steps | 40000 | Stage-III 最大训练步数 |
8.4 训练工程
| 参数 | 值 | 说明 |
|---|---|---|
| gradient_accumulation_steps | 4 | 梯度累积 |
| bf16 | true | BF16 混合精度 |
| gradient_checkpointing | true | 梯度检查点 |
| save_steps | 1000 | 保存间隔 |
| save_total_limit | 150 | 最多保留 checkpoint 数 |
| logging_steps | 10 | 日志间隔 |
| dataloader_num_workers | 0 | 数据加载进程 |
| remove_unused_columns | false | 保留未使用列 |
8.5 启动脚本默认值(scripts/training/gestalt_sft.sh)
| 参数 | 值 | 说明 |
|---|---|---|
| NNODES | 1 | 节点数 |
| NPROC_PER_NODE | 1 | 单节点进程数;单卡时不设置 |
| NODE_RANK / MASTER_ADDR / MASTER_PORT | 0 / 127.0.0.1 / 29500 | 分布式默认值 |
| OUTPUT_DIR | outputs/stage3 | 输出目录 |
| CONFIG | configs/training/gestalt_stage_3.yaml | 默认配置 |
| DEEPSPEED | configs/deepspeed/zero_stage2.json | 设 DEEPSPEED=none 可关闭 |
| Parquet 文件数 | ≥ 分布式进程数 | README 明确的硬约束 |
8.6 DeepSpeed(configs/deepspeed/zero_stage2.json)
| 参数 | 值 | 说明 |
|---|---|---|
| zero_optimization.stage | 2 | ZeRO-2 |
| allgather_bucket_size / reduce_bucket_size | 1e8 / 1e8 | 通信桶大小 |
| overlap_comm / reduce_scatter | true / true | 通信重叠与归约 |
| optimizer.type | AdamW | 优化器,参数由训练配置自动注入 |
| fp16 / bf16 | auto / auto | 精度由启动参数决定 |
| steps_per_print | 2000 | 日志打印间隔 |
9 · 依赖与启动约束
9.1 requirements.txt
| 包 | 版本 |
|---|---|
| torch | 2.10.0 |
| transformers | 5.2.0 |
| deepspeed | 0.18.5 |
| accelerate | 1.12.0 |
| safetensors | 0.7.0 |
| tokenizers | 0.22.2 |
| flash-attn | 未钉版本 |
| numpy | 1.26.4 |
| pyarrow | 23.0.0 |
| pyyaml | 6.0.3 |
| einops | 0.8.2 |
| pillow | 10.4.0 |
| tqdm | 4.67.3 |
flash-attn 未钉版本;torch 2.10.0 / transformers 5.2.0 / deepspeed 0.18.5 是钉死的。
9.2 三条硬约束
- checkpoint 目录必须包含
tokenizer.json,训练直接从此读取分词器。 - Parquet 文件数不能少于分布式进程数;单机单卡时不设
NPROC_PER_NODE。 - 文生图推理默认空 system prompt,与训练模板一致;若训练数据用了固定非空系统提示词,推理要传
--system-prompt同一段文字。
10 · 主评测:五张表全量数字
下面五张表照录官方项目主页(与论文 Table 1 / 2 / 3 / 5 / 6 一致)。「↑」后是原表标注的领先幅度,「†」「–」沿用原表记号,含义以官方页面为准。本站未复现、未重算、未删行。
一、细粒度文生图 · UniGenBench
官方描述:Gestalt 在参评模型中取得最高总分,兼顾细粒度语义对齐与组合式生成。下表为英文长提示设置。
| 模型 | Overall | Style | World | Attr. | Action | Rel. | Comp. | Grammar | Layout | Logic | Text |
|---|---|---|---|---|---|---|---|---|---|---|---|
| 生成专用模型(Gen. Only) | |||||||||||
| DALL-E-3 | 70.82 | 95.08 | 92.71 | 84.98 | 68.36 | 77.90 | 73.88 | 68.19 | 71.76 | 57.11 | 18.26 |
| SD-3.5-Large | 64.35 | 88.12 | 88.15 | 78.78 | 59.63 | 67.62 | 62.21 | 65.23 | 71.19 | 44.90 | 17.66 |
| OmniGen2 | 71.39 | 94.35 | 84.83 | 83.03 | 66.57 | 73.06 | 70.49 | 76.40 | 80.63 | 56.55 | 27.99 |
| 统一模型(Unified) | |||||||||||
| Emu3 | 50.95 | 89.36 | 76.16 | 66.81 | 43.80 | 51.70 | 46.00 | 50.25 | 56.67 | 27.43 | 1.36 |
| Show-o2 | 70.33 | 93.11 | 88.44 | 86.35 | 69.02 | 77.37 | 76.45 | 70.30 | 80.63 | 59.71 | 1.90 |
| Janus-Pro | 71.11 | 94.02 | 88.15 | 81.81 | 69.14 | 77.96 | 76.53 | 74.62 | 82.14 | 62.62 | 4.08 |
| MMaDA | 40.10 | 75.83 | 52.75 | 49.90 | 32.42 | 39.06 | 38.37 | 50.00 | 43.02 | 19.42 | 0.27 |
| BAGEL | 71.26 | 92.44 | 89.31 | 84.21 | 67.62 | 75.70 | 74.71 | 74.75 | 81.90 | 59.71 | 12.23 |
| Lumina-DiMOO | 71.81 | 86.88 | 88.58 | 83.71 | 69.66 | 73.33 | 74.93 | 74.49 | 84.84 | 58.01 | 23.64 |
| Gestalt | 73.30↑1.49 | 95.85↑0.77 | 81.65 | 82.51 | 68.57 | 78.12↑0.16 | 81.20↑4.67 | 82.23↑5.83 | 85.79↑0.95 | 73.28↑10.66 | 3.80 |
怎么读:Overall 是总分;Text 一列考察图中文字,Gestalt 为 3.80,明显不是强项 —— 看总分时别忽略分项。
二、长短指令文生图 · TIIF-Bench
官方描述:短、长指令两类设置下均领先,长提示引入更多相互依赖的要求时优势更大。四组指标各分短/长两列。
| 模型 | Overall · Short | Overall · Long | Basic · Short | Basic · Long | Advanced · Short | Advanced · Long | Designer · Short | Designer · Long |
|---|---|---|---|---|---|---|---|---|
| 生成专用模型(Gen. Only) | ||||||||
| PixArt-Sigma | 62.00 | 58.12 | 70.66 | 75.25 | 57.65 | 49.50 | 62.11 | 52.41 |
| FLUX.1 Pro | 67.32 | 69.89 | 79.08 | 78.91 | 61.10 | 65.37 | 71.80 | 68.80 |
| MidJourney V7 | 68.74 | 65.69 | 77.41 | 76.00 | 64.66 | 60.53 | 68.83 | 63.61 |
| SD 3.5 Large | 71.15 | 66.96 | 78.34 | 79.56 | 67.67 | 61.18 | 64.43 | 66.39 |
| 统一模型(Unified) | ||||||||
| Emu3 | 43.38 | 39.44 | 49.88 | 42.08 | 37.09 | 33.52 | 53.73 | 60.45 |
| MMaDA | 52.32 | 52.90 | 65.78 | 66.71 | 50.32 | 50.76 | 60.45 | 55.60 |
| Show-o2 | 67.38 | 68.76 | 81.16 | 84.06 | 69.25 | 72.99 | 75.37 | 75.75 |
| Janus-Pro | 66.50 | 65.02 | 79.33 | 78.25 | 59.71 | 58.82 | 65.84 | 60.25 |
| BAGEL | 71.50 | 71.70 | 81.79 | 80.05 | 70.24 | 72.19 | 68.28 | 67.91 |
| Lumina-DiMOO | 71.27 | 68.53 | 75.50 | 78.29 | 70.49 | 68.33 | 69.78 | 70.90 |
| Gestalt | 74.57↑3.07 | 78.86↑7.16 | 83.79↑2.00 | 86.06↑2.00 | 72.60↑2.11 | 77.69↑4.70 | 84.70↑9.33 | 88.81↑13.06 |
怎么读:论文正文把 74.57 / 78.86 写作 TIIF-Bench 的短/长设置成绩;长指令上的领先幅度普遍更大。
三、多模态理解
官方描述:视觉为中心的任务上增益更明显,反映在统一模型里保留模态特有信息的价值。
| 模型 | MME-P | GQA | MMStar-P | POPE | RWQA | MMVP | CVB2d | CVB3d |
|---|---|---|---|---|---|---|---|---|
| 自回归基座(AR-Based) | ||||||||
| BAGEL | 1687.0† | 66.4 | 70.9 | 88.2 | 67.6 | 69.3† | 77.7 | 84.2 |
| 扩散基座(Diffusion-based) | ||||||||
| MMaDA | 1410.7† | 61.3† | 43.0 | 86.1† | 48.2 | 17.3 | 55.3 | 54.8 |
| Lumina-DiMOO | 1534.2† | 43.3 | – | 87.4† | 35.9 | 34.0 | 54.3 | 52.0 |
| LaViDA-o | 1431.0 | 54.1 | 55.9 | – | 56.6 | 47.3 | 73.4 | 70.8 |
| LLaDA-o | 1412.0† | 58.0 | 55.6 | 87.2 | 66.4 | 46.7 | 78.0 | 75.9 |
| Omni-diffusion | 1216.7† | – | – | 76.6† | – | – | – | – |
| 本站主体 | ||||||||
| Gestalt | 1600.2↑66.0 | 60.2 | 60.8 | 86.5 | 59.1 | 48.7↑1.4 | 78.9↑0.9 | 86.1↑10.2 |
怎么读:MME-P 一项 BAGEL 的 1687.0 高于 Gestalt 的 1600.2;Gestalt 的优势集中在 CV-Bench 两条视觉细项上,不是全项通吃。
四、纯文本能力
官方描述:在参评的扩散式统一模型中整体领先,语言表现与 Janus-Pro 等自回归模型相当。
| 模型 | MMLU | TruthfulQA | WinoGrande | HellaSwag | ARC-E | ARC-C |
|---|---|---|---|---|---|---|
| 自回归基座(AR-Based) | ||||||
| Show-o2 | 71.70 | 46.94 | 74.03 | 76.67 | 84.43 | 58.53 |
| Janus-Pro | 49.90 | 41.72 | 67.17 | 68.41 | 65.74 | 40.70 |
| BAGEL | 28.02 | 40.51 | 50.75 | 28.59 | 27.53 | 23.63 |
| 扩散基座(Diffusion-based) | ||||||
| MMaDA | 40.14 | 43.81 | 54.85 | 45.81 | 46.72 | 28.67 |
| Lumina-DiMOO | 29.75 | 43.34 | 51.62 | 39.11 | 44.44 | 26.45 |
| LLaDA-o | 25.25 | 52.30 | 51.22 | 30.72 | 36.66 | 24.66 |
| 本站主体 | ||||||
| Gestalt | 49.50↑9.36 | 47.55 | 60.62↑5.77 | 53.44↑7.63 | 62.29↑15.57 | 43.69↑15.02 |
怎么读:这里的「领先」限定在扩散式统一模型这一组;与 Show-o2 的 MMLU 71.70 相比仍有差距。
五、视觉特有与协同能力
官方描述:视觉特有表现与协同类指标相配,在参评的扩散式模型中取得领先的协同结果。
| 模型 | MIB-V(视觉特有) | CoreCog-SM(协同) | MM-IMDb(协同) | SRBench(协同) |
|---|---|---|---|---|
| 自回归基座(AR-Based) | ||||
| BAGEL | 65.96 | 65.00 | 60.60 | 51.89 |
| 扩散基座(Diffusion-based) | ||||
| MMaDA | 44.23 | 43.20 | 30.39 | 36.72 |
| Lumina-DiMOO | 56.43 | 42.20 | 31.22 | 45.50 |
| LLaDA-o | 60.31 | 53.30 | 39.64 | 50.89 |
| LaViDa-O | 58.07 | 50.60 | 51.54 | 40.89 |
| 本站主体 | ||||
| Gestalt | 59.89 | 55.20↑1.90 | 67.07↑15.53 | 53.17↑2.28 |
怎么读:MIB-V 一项 LLaDA-o 的 60.31 略高于 Gestalt 的 59.89;这一组表格要看的是协同三项的跃升幅度。
以下数字照录官方项目主页的评测表格,本站仅做中文表头整理与分组排版,未复现、未重算。带 † 与 – 的记号沿用原表,含义以原页为准;↑ 后的数字为原表标注的领先幅度。
分项比总分诚实:MME-P 一项 BAGEL 1687.0 高于 Gestalt 1600.2;UniGenBench 的 Text 分项 Gestalt 只有 3.80;MIB-V 一项 LLaDA-o 60.31 略高于 59.89;纯文本 MMLU 一项 Show-o2 71.70 高于 49.50。这些全部留在表里。官方措辞带「在参评模型中」「在参评的扩散式统一模型中」的限定,本站不写成「全面超越」。
11 · 补充表:表征空间与遥感迁移
补充表 A · 语言表征空间的偏移与保留(论文 Table 4)
以预训练 LLaDA 为参照,衡量两种多模态适配范式对语言嵌入空间的改动。Norm / Distance 看分布偏移,Cosine Sim. / CKA 看结构保留。数值照录论文 Table 4。
| 模型 | 适配范式 | Norm Mean | Norm Std | Mean Distance | Cosine Sim. | CKA |
|---|---|---|---|---|---|---|
| 基座(Base) | ||||||
| LLaDA | 参照 | 7.82 | 1.11 | – | – | – |
| 投影对齐(Projector Alignment) | ||||||
| LLaDA-V | 投影对齐 | 7.82 | 1.11 | 0.043 | 0.99998 | 0.99997 |
| LaViDa | 投影对齐 | 7.83 | 1.11 | 0.160 | 0.99976 | 0.99964 |
| LLaDA-O | 投影对齐 | 8.02 | 1.16 | 1.520 | 0.98136 | 0.97424 |
| 统一 token 空间(Unified Token Space) | ||||||
| Lumina-DiMOO | 统一离散空间 | 0.85 | 0.49 | 7.426 | 0.58795 | 0.43894 |
| Gestalt | 统一离散空间 | 5.29 | 0.76 | 2.590 | 0.99677 | 0.99494 |
怎么读:统一 token 空间的模型改动更大,但 Gestalt 的 Cosine 0.99677 与 CKA 0.99494 远高于 Lumina-DiMOO 的 0.58795 / 0.43894 —— 论文据此判断它在建立共享空间的同时大体保住了原有语言几何。Norm Mean 从 7.82 降到 5.29,说明嵌入尺度仍有明显变化,这一点论文没有回避。
补充表 D · 遥感领域迁移(论文 Table 9)
只向训练混合里加入 5 万条 FIT 遥感 VQA 样本,考察模型吸收新视觉域知识的效率。FGRS 考细粒度识别,FGRC 考物体与区域间的关系推理。
| 模型 | 遥感微调样本 | FGRS | FGRC |
|---|---|---|---|
| BAGEL | – | 42.51 | 36.65 |
| GeoChat | – | 53.47 | 21.90 |
| SkySenseGPT | 1.415M | 79.76 | 55.50 |
| Lumina-DiMOO * | 50K | 77.77 | – |
| Gestalt | 50K | 79.34 | 38.20 |
怎么读:用 5 万条样本得到 FGRS 79.34,逼近用 141.5 万条训练的专业模型 SkySenseGPT 的 79.76;同数据量下也高于 Lumina-DiMOO* 的 77.77。但关系推理 FGRC 只有 38.20,与 55.50 仍有明显差距 —— 论文如实写了 although a gap remains。* 表示 FGRC 评测未完成。
12 · 表征与交互 token 分析
12.1 统一的视觉—语言空间
3.3 节在第 24 层、用 DOCCI 图文对可视化隐藏表征:Lumina-DiMOO 两模态明显分离;Qwen3.8 有部分重叠但大量文本 token 仍与视觉表征分开;Gestalt 的分布更交织。论文脚注说明,因无官方 9B checkpoint,对照用的是蒸馏版 Qwen3.8-9B-Distill,并给出了地址 —— 这是作者自己写明的替代口径。
12.2 语言几何有没有被保住
Table 4 显示:投影对齐类模型对原语言空间改动最小;统一 token 空间类改动更大。但 Gestalt 的 Cosine 0.99677 / CKA 0.99494 远高于 Lumina-DiMOO 的 0.58795 / 0.43894。论文据此判断它「建了新空间,同时大体保住原有表征结构」。同时 Norm Mean 从基座 7.82 降到 5.29,嵌入尺度的明显变化论文没有回避。
12.3 交互 token 会不会按需变形
3.4 节在第 16 层可视化 MIBench 上交互 token 的隐藏表征。MIBench 按预测所需信息把样本分成视觉特有、文本特有、跨模态协同。结果:视觉主导与文本主导样本占据大体分离的区域,协同样本形成第三种分布并部分 bridging 前两者。论文据此判断这些 token 会按信息需求调整交换方式 —— 这是解释性观察,不是因果证明。
13 · 纯文本能力
评测设置:MMLU、WinoGrande、TruthfulQA 用 5-shot,HellaSwag、ARC-Easy、ARC-Challenge 用 0-shot,TruthfulQA 报 MC2。Table 5 里 Gestalt 在六个基准中五项领先扩散式统一模型,ARC-E / ARC-C 提升最大(+15.57 / +15.02);与 AR 模型比,六项全胜 BAGEL,MMLU 49.50 接近 Janus-Pro 的 49.90。论文结论是多模态适配后语言能力仍被保住,不是「语言也全面最强」。
14 · 相关工作、讨论与致谢
相关工作:从架构兼容(视觉编码器 + projector + AR 语言模型)到原生统一模型(共享模型联合预训练,同时支持理解与生成),后者又分自回归 next-token、离散扩散、混合 AR-diffusion / flow-based 三条路线。论文指出的共同缺口是:现有工作聚焦把数据放进同一模型,没有显式组织跨模态的信息关系与涌现性质。
讨论:核心判断是「统一未必要求从最底层就共享全部计算」—— 先模态特有处理、受控交换、再完全整合,可能更好地平衡专长与协同。作者把它和混合模态 scaling law 研究联系起来:既然已有工作把多模态协同视为关键组分,规模效应或许不只取决于模型与数据量,也取决于跨阶段的信息交换如何组织。原文用 suggest / may,是后续研究的提议,不是已验证结论。
致谢与资助:论文写明本工作部分受北京市自然科学基金 4262050 与北京新星计划 202604841277 支持。
15 · 附录实验:定性与领域迁移
15.1 遥感迁移(7.2)
只加 5 万条 FIT 遥感 VQA 样本,FGRS 79.34 逼近用 141.5 万条样本的 SkySenseGPT 79.76,同数据量下也高于 Lumina-DiMOO* 的 77.77;但关系推理 FGRC 只有 38.20,与 55.50 仍有明显差距 —— 论文如实写了 *although a gap remains*。详见第 11 章 Table 9。
15.2 细粒度生成定性(7.3 / Figure 7)
论文举的例子:雪地上的北极熊与企鹅、金字塔前的骆驼队、塞纳河边的情侣与游轮、装在不同容器里的几组花束、内部装不同内容物的相似瓶子、金属空碗旁的小狗。风格覆盖水彩、梵高式油画、印象派、超现实数字艺术、产品摄影、电影感风景与日式动漫。作者强调风格约束影响的是整幅画面的光照、色调、笔触、透视与氛围,而非浮在局部的一层贴图。
以上是论文文字描述,本站不搬运官方示例图。
16 · 代码仓库
仓库 GeWu-Lab/Gestalt,默认分支 main,2026-11-20 快照:创建 2026-09-29、最后推送 2026-10-10、star 28 / fork 3 / 未关闭 issue 2、license 字段为空。这些是会变的元数据,只作留痕,不作结论。
16.1 主要文件
| 路径 | 用途 |
|---|---|
| README.md | 项目说明、News、架构、训练、Quick Start、数据格式、引用、许可证、作者分工 |
| archive/Gestalt.pdf | 论文 PDF 归档 |
| assets/ | 官方标识、金字塔、架构图、评测图、示例图、微信群二维码(本站不搬运) |
| configs/training/gestalt_stage_3.yaml | Stage-III SFT 全部超参 |
| configs/deepspeed/zero_stage2.json | ZeRO-2 配置 |
| gestalt/data/datasets.py | 数据集定义 |
| gestalt/data/stage3.py | 第三阶段数据加载 |
| gestalt/model/builder.py | 模型构建 |
| gestalt/model/config.py | 配置读取 |
| gestalt/model/configuration_llada.py | LLaDA 配置 |
| gestalt/model/flex_attention.py | 灵活注意力(Zone I 受限交换相关) |
| gestalt/model/modeling_gestalt.py | Gestalt 主体模型 |
| gestalt/model/modeling_llada.py | LLaDA 基座模型 |
| gestalt/model/mrope.py | 交错 MRoPE 位置编码 |
| gestalt/model/templates.py | 提示词模板 |
| gestalt/training/trainer.py | 训练器 |
| scripts/training/gestalt_sft.sh | Stage-III 启动脚本(torchrun) |
| scripts/training/train_stage3.py | Stage-III 训练入口 |
| scripts/inference/run_mmu.py | 多模态理解推理 |
| scripts/inference/run_t2i.py | 文生图推理(输出 VQ-VAE token) |
| requirements.txt | 13 项依赖,含版本 |
16.2 三类任务与脚本
| task_type | 任务 | 入口 |
|---|---|---|
| i2t | 图生文、多模态理解 MMU | scripts/inference/run_mmu.py |
| t2i | 文生图 | scripts/inference/run_t2i.py(输出 VQ-VAE 离散 token) |
| i2i | 图生图 | Stage-III 统一 Parquet schema;README 未单列推理脚本 |
训练统一走 scripts/training/gestalt_sft.sh → train_stage3.py,配置 configs/training/gestalt_stage_3.yaml,DeepSpeed configs/deepspeed/zero_stage2.json。模型实现的关键模块:modeling_gestalt.py、modeling_llada.py、flex_attention.py(Zone I 受限交换)、mrope.py(二维位置)、templates.py(提示词模板)。
17 · 快速上手(逐条摘自官方 README)
17.1 环境与权重
git clone https://github.com/GeWu-Lab/Gestalt.git
cd Gestalt
pip install -r requirements.txt
huggingface-cli download GeWu-Lab/Gestalt --local-dir /path/to/checkpoint
17.2 多模态理解推理
python scripts/inference/run_mmu.py \
--model /path/to/checkpoint \
--image-tokens image_tokens.npy \
--question "What is in this image?" \
--token-h 32 --token-w 32
17.3 文生图推理
python scripts/inference/run_t2i.py \
--model /path/to/checkpoint \
--prompt "A cat sitting on a windowsill" \
--output output_tokens.npy \
--lat-h 32 --lat-w 32
输出是 VQ-VAE 离散 token,不是图片文件。
17.4 Stage-III 训练
DATA_DIR=/path/to/parquet \
PRETRAINED=/path/to/checkpoint \
NPROC_PER_NODE=8 \
scripts/training/gestalt_sft.sh
17.5 数据格式(Parquet 每行字段)
| 字段 | 图生文 / 理解 i2t | 文生图 t2i | 图生图 i2i |
|---|---|---|---|
| task_type | i2t | t2i | i2i |
| metadata_json | JSON 字符串 | JSON 字符串 | JSON 字符串 |
| conversations | 字符串 / 轮次列表 | — | — |
| img_tokens | VQ-VAE 原始 ID | — | — |
| system_prompt | 可选 | 字符串 | 字符串 |
| user_prompt | — | 字符串 | 字符串 |
| input_image_tokens | — | — | VQ-VAE 原始 ID |
| answer_image_tokens | — | VQ-VAE 原始 ID | VQ-VAE 原始 ID |
字段名照录 README,改动会导致训练脚本读不到数据。SFT 数据官方标注 coming soon。
18 · 引用与许可证
官方 README 给出的引用条目:
@article{gestalt2026,
title = {Gestalt: Large Multimodal Interplay Model},
author = {Yang, Zequn and Miao, Yu and Ni, Haotian and Chen, Ziheng and
Huang, Chengxiang and Zhou, Dongzhan and Chen, Kai and Zhang, Qi and
Wen, Ji-Rong and Wei, Yake and Hu, Di},
year = {2026},
url = {https://github.com/GeWu-Lab/Gestalt}
}
论文:arXiv 页面标注 CC BY 4.0;本站只做要点转述与数字照录,不整段搬运正文。
代码许可证:README 写 This project is released under the Apache 2.0 license.,但同一句后面留着 <!-- TODO: confirm license -->,仓库根目录没有 LICENSE 文件,GitHub API 的 license 字段为空。本站按「待核实」处理,不作为授权结论;商用或二次分发前请以官方仓库当前状态为准。
19 · 词典
19.1 核心术语(26 条)
| 术语 | 含义 |
|---|---|
| Multimodal Interplay / 多模态交互 | 论文核心概念:信息可能只存在于单一模态、被多模态共享、或只在组合后才涌现,这三类关系合称交互。 |
| Multimodal Interplay Pyramid / 多模态交互金字塔 | 底层模态特有信息建模 → 中层跨模态冗余对齐 → 顶层多模态协同;同时约束架构、数据组织与训练顺序。 |
| Modality-specific / 模态特有信息 | 只有某一模态才知道的信息,如图像的颜色纹理、文本里的关系描述。 |
| Redundancy / 冗余信息 | 两种模态都提到的共有内容,用来建立跨模态对应关系。论文记作 R。 |
| Synergy / 协同信息 | 必须把互补线索合起来才能得到、任一单模态都给不出的结论。论文记作 S。 |
| Uv / Ut | 论文记号:视觉特有信息(visual-unique)与文本特有信息(text-unique)。 |
| Unified Discrete Diffusion / 统一离散扩散 | 图像与文本共用离散 token 空间与同一个掩码预测目标,双向条件化,没有自回归的固定生成方向。 |
| Masked Diffusion Objective | 论文公式 (1):对多模态序列随机掩码一组位置并重建对应 token,取负对数似然;双向条件化,无固定生成方向。 |
| Joint Masked Prediction / 联合掩码预测 | 预训练目标:视觉与文本 token 各自独立掩码、联合重建,学模态内结构与双向跨模态依赖。 |
| Conditional Masked Prediction / 条件掩码预测 | CPT 与 SFT 目标:留一个模态可见,掩码并预测另一个,建立 vision↔text 双向条件依赖。 |
| Interplay Token / 交互 token | 32 个可学习 token,作为视觉流与文本流的共享接口;Zone I 里中介交换,Zone II 里继续聚合任务相关信息。 |
| Interplay Zone I / 瓶颈交互区 | 前 4 层 Transformer;视觉与文本各走独立 FFN,跨模态直连注意力受限,只能经交互 token 交换。 |
| Interplay Zone II / 全模态交互区 | Zone I 之后的其余层;全模态自注意力 + 共享 FFN,三类 token 直接互通。 |
| Preserve-then-integrate | 论文对两个 Zone 合起来作用的概括:先保住模态特有表征,再做完全整合。 |
| IBQ / Index Backpropagation Quantization | 图像 tokenizer,固定 VQ-VAE 编码器,码本 16,384 项;论文引用 ICCV 2025 的工作。 |
| VQ-VAE token | 图像被压缩成的离散 ID。推理时 run_t2i.py 输出的就是它,不是图片文件。 |
| MRoPE / interleaved MRoPE | 交错多维旋转位置编码,用来在共享序列里保留图像 token 的二维空间位置。 |
| LLaDA-8B-Instruct | 基座模型:掩码扩散语言模型,双向注意力;Gestalt 从这里初始化。 |
| CPT / Continual Pretraining | 持续预训练,8M 图文对,条件掩码预测。 |
| SFT / Supervised Fine-Tuning | 指令微调,13.7M 四类交互样本 + 约 2.5M 文生图样本,三阶段课程。 |
| Interplay-Oriented Curriculum | 三阶段课程:四类数据全程保留,只调采样比例,重心从冗余/文本 → 视觉特有 → 协同。 |
| CKA | Centered Kernel Alignment,衡量两组表征结构的相似度,Table 4 用来衡量语言空间保留程度。 |
| ZeRO-2 | DeepSpeed 的优化器状态与梯度分片策略,仓库默认配置。 |
| Parquet | Stage-III 训练数据的文件格式,统一 schema 覆盖 i2t / t2i / i2i 三类任务。 |
| MMU | Multimodal Understanding,多模态理解;推理脚本 run_mmu.py 对应这一类任务。 |
| T2I / I2T / I2I | 文生图 / 图生文 / 图生图,对应数据格式里的 task_type 三种取值。 |
19.2 评测基准(20 个)
| 基准 | 类别 / 考察点 | 说明 |
|---|---|---|
| UniGenBench | 细粒度文生图 | 属性、动作、空间关系、组合、逻辑推理等 11 个分项;官方表为 English Long 设置。 |
| TIIF-Bench | 复杂指令遵循的文生图 | 短 / 长两种提示,Overall、Basic、Advanced、Designer 四组指标。 |
| MME-P | 多模态理解(感知) | MME 的感知分项,分数为千量级;Table 3 中 BAGEL 1687.0 高于 Gestalt 1600.2。 |
| GQA | 真实场景视觉推理与组合式问答 | Table 3 的通用 VQA 组。 |
| MMStar-P | 多模态感知 | MMStar 的 Perception 分项;课程消融表也用它做细粒度感知指标。 |
| POPE | 物体幻觉 | 判断模型是否幻觉出不存在的物体。 |
| RWQA / RealworldQA | 真实世界场景问答 | Table 3 的通用 VQA 组。 |
| MMVP | 视觉中心感知 | 专门暴露多模态大模型视觉短板的基准。 |
| CV-Bench 2D / 3D | 视觉中心理解 | Table 3 里 Gestalt 78.9 / 86.1,均超过 BAGEL 的 77.7 / 84.2。 |
| MMLU | 纯文本知识与推理 | 5-shot。 |
| TruthfulQA | 文本真实性与抗误导 | 5-shot,报 MC2。 |
| WinoGrande | commonsense 指代消解 | 5-shot。 |
| HellaSwag | 常识续写 | 0-shot。 |
| ARC-E / ARC-C | 科学问答 Easy / Challenge | 0-shot;Gestalt 在这两项提升最大(+15.57 / +15.02)。 |
| MIB-V / MIBench-Visual | 视觉特有信息能力 | Table 6 的视觉类指标;LLaDA-o 60.31 略高于 Gestalt 59.89。 |
| CoreCog-SM | 基础感知运动认知 | CoreCognition 的 Sensorimotor 子集。 |
| MM-IMDb | 跨模态协同 | 电影多模态分类,需联合图文信息;Gestalt 67.07,领先幅度 +15.53。 |
| SRBench | 空间关系推理 | 协同类指标;Gestalt 53.17。 |
| DOCCI | 表征可视化数据源 | 不是评分基准;3.3 节用它取图文对做第 24 层表征可视化。 |
| FGRS / FGRC | 遥感细粒度识别 / 关系推理 | 附录 7.2 的领域迁移评测。 |
19.3 参评模型(14 组)
| 模型 | 所属组别 | 在论文里的角色 |
|---|---|---|
| DALL-E-3 / SD-3.5-Large / OmniGen2 | 生成专用 | UniGenBench 参照组。 |
| PixArt-Sigma / FLUX.1 Pro / MidJourney V7 / SD 3.5 Large | 生成专用 | TIIF-Bench 参照组。 |
| Emu3 | 统一 · 自回归 | next-token prediction 路线;UniGenBench 50.95。 |
| Show-o2 | 统一 · 混合 | 改进版原生统一模型;纯文本 MMLU 71.70,为 Table 5 全表最高。 |
| Janus-Pro | 统一 · 自回归 | 理解与生成统一;TIIF / 纯文本参照。 |
| BAGEL | 统一 · 自回归 | Table 3 唯一的 AR 参照,MME-P 1687.0 为全表最高。 |
| MMaDA | 统一 · 扩散 | 多模态大扩散语言模型。 |
| Lumina-DiMOO | 统一 · 扩散 | Table 1 统一组最高 71.81;Table 4 表征偏移最大。 |
| LaViDA-o / LaViDa-O | 统一 · 扩散 | 论文两处大小写不一致,本站照录原表写法。 |
| LLaDA-o | 统一 · 扩散 | Table 6 的 MIB-V 60.31 略高于 Gestalt。 |
| Omni-diffusion | 统一 · 扩散 | 掩码离散扩散统一模型。 |
| Qwen3.8-9B-Distill | 统一 · 自回归(对照) | 3.3 节表征可视化对照;因无官方 9B checkpoint,论文改用蒸馏版并给出脚注说明。 |
| GeoChat / SkySenseGPT | 遥感专用 | 附录 7.2 的领域参照;SkySenseGPT 用 1.415M 遥感样本。 |
| Kimi K3 / Qwen 3.8 / LLaVA / Qwen2.5-VL | 引言提及 | 用于说明「架构兼容 → 数据兼容」的演进,不在评测表里。 |
19.4 机构编号
| 编号 | 机构 |
|---|---|
| 1 | 中国人民大学高瓴人工智能学院(北京) |
| 2 | 大模型与智慧治理北京市重点实验室 |
| 3 | 北京航空航天大学 |
| 4 | 北京邮电大学 |
| 5 | 上海人工智能实验室 |
| 6 | AresoX |
19.5 作者与分工
| 作者 | 机构编号 | 分工(据 Author Contributions) |
|---|---|---|
| Zequn Yang | 1,2 | 共同一作;项目整体推进;模型预训练与 SFT;架构与核心实验;论文写作 |
| Yu Miao | 1,2 | 共同一作;架构与核心实验;数据处理与组织;图像生成能力评测 |
| Haotian Ni | 3 | 共同一作;架构与核心实验;多模态理解评测 |
| Ziheng Chen | 1,2 | 共同一作;数据处理与组织;纯文本能力评测 |
| Chengxiang Huang | 4 | 共同一作;数据处理与组织 |
| Dongzhan Zhou | 5 | 技术设计与方法论讨论 |
| Kai Chen | 5 | 技术设计与方法论讨论 |
| Qi Zhang | 5 | 技术设计与方法论讨论 |
| Ji-Rong Wen | 1,2 | 技术设计与方法论讨论 |
| Yake Wei | 1,2 | 团队负责人;项目整体推进;论文写作与修订;监督指导 |
| Di Hu | 1,2,6 | 通讯作者、团队负责人;发起项目;论文写作与修订;监督指导 |
† 共同一作(前五位),‡ 团队负责人,✉ 通讯作者 Di Hu;标 * 者部分工作在上海人工智能实验室实习期间完成。分工文字依据 README 与论文 Acknowledgments 段。
20 · 常见问题(15 条)
1. 这个中文站是官方的吗?
不是。本站是第三方中文整理,与论文作者、GeWu-Lab 及各所属机构无关联,不提供模型调用,也不托管权重。
2. 为什么中文网上有完全不同的两个 Gestalt?
至少四个同名对象:本模型、匿名 stealth 设计模型、格式塔心理学、其他同名产品。中文圈常把本模型误当成匿名设计模型的出处,无任何公开确认。看同名辨析页。
3. 模型有多大?参数量多少?
官方只写基座 LLaDA-8B-Instruct,论文、主页、README 都没有给出 Gestalt 自身参数量、训练算力与耗时。本站不推测。
4. 能直接体验吗?
官方主页给了 Hugging Face Space Demo 链接,但本站建站时本机网络访问 Hugging Face 未成功,因此不写「可正常体验」,只原样列完整地址。请以官方页面当前状态为准。
5. 许可证是 Apache 2.0 吗?
README 这么写,但同一句后留着 TODO: confirm license,仓库根目录没有 LICENSE 文件,GitHub API 的 license 字段也为空。本站按「待核实」处理,商用或二次分发请自行向官方确认。
6. 论文是 CC BY 4.0 吗?
arXiv 页面标注 CC BY 4.0。本站只做要点转述与数字照录,不整段搬运论文正文。
7. SFT 数据能下载吗?
README 写 SFT data coming soon,截至 2026-11-20 核对日尚未放出。
8. 交互 token 为什么是 32 个?
论文只说使用 32 个可学习交互 token,没有给出取这个数目的消融或理由。本站不补解释。
9. Zone II 有多少层?
Figure 2 把两区段写作 N1 / N2 层,正文只明确前 4 层为 Zone I,未给 N2 数值。本站不推测。
10. 为什么 13.7M 之外还有 2.5M?
13.7M 是理解与纯文本指令样本;另收 2.46M 文生图样本(官方约写作 2.5M),大致均匀分布到三个阶段,不参与四类交互的课程划分。
11. 三阶段课程真的比均匀混合好吗?
不是无条件更好。论文 Table 8 显示它改变的是能力出现的顺序:早期 MME-P +113.8 但 MMStar-P -4.44,到阶段 3 反转。论文原文是 progressively reshapes,不是 uniformly improves。
12. Gestalt 是不是「全面超越」其他模型?
不是。Table 3 的 MME-P(BAGEL 1687.0 > 1600.2)、Table 5 的 MMLU(Show-o2 71.70 > 49.50)、Table 6 的 MIB-V(LLaDA-o 60.31 > 59.89)、Table 1 的 Text(3.80)都不是第一。官方措辞带「在参评模型中」的限定。
13. 为什么文生图推理输出的是 .npy 而不是图片?
run_t2i.py 输出的是 VQ-VAE 离散 token;要得到图片还需经过解码环节。README 给的就是这条命令与这个输出。
14. 训练时最容易踩的坑是什么?
checkpoint 目录必须含 tokenizer.json;Parquet 文件数不能少于分布式进程数;T2I 默认空 system prompt,若训练数据用了固定非空系统提示词,推理时要通过 --system-prompt 传同一段文字。
15. 发现数字对不上怎么办?
先看核对日期与来源。官方页面与仓库可能更新,本站所有数字带「最后核对」时间戳;以官方原文为准,本站按「改错留痕」原则修订。
21 · 同名辨析
中文信息里最容易出的一次错,是把这个开源多模态论文当成另一个匿名设计模型的「出处」。两者只是同名。
| # | 叫什么 | 是什么 | 时间 | 可核对程度 |
|---|---|---|---|---|
| ① | Gestalt: Large Multimodal Interplay Model | 本文档主体。人大高瓴 GeWu-Lab 等的开源统一多模态大模型 | 2026-09 底放出权重与代码 | 论文、代码、权重、项目主页、九张表齐备 |
| ② | Gestalt(stealth,匿名设计模型) | Contra Labs × BenchFlow「Frontier Design Benchmark」榜单上的匿名模型,考完整网站交付 | 2026-11 中旬进入中文视野 | 官方未披露开发方、参数、定价、作品;只有榜单成绩 |
| ③ | 格式塔心理学 | 20 世纪初德国心理学学派,「整体大于部分之和」 | 20 世纪初 | 公共知识;是 ① 的名字来源 |
| ④ | 其他同名 | iOS 上的 MobileGestalt 编辑器 GestaltX、同名公路车、格式塔疗法培训等 | 各自不同 | 搜索噪声,与模型无关 |
截至 2026-11-20,没有任何一方公开确认 ① 与 ② 存在关联。 本文档不参与指认、不做身份猜测,只把可核对的差异摆出来。① 主打图像生成与多模态理解,② 考的是带品牌素材与转化目标的完整网站交付,任务集都不是一回事。
一句话记法:有论文、有 8B 基座、有 32 个交互 token、有九张表的,是本文档这个;只有 Elo 和一堆猜测的,是另一个。
22 · 一手来源
| 来源 | 完整地址 | 本文档用途 | 核对状态 | 核对日期 |
|---|---|---|---|---|
| 官方项目主页 | https://gewu-lab.github.io/Gestalt/ | 项目定位、架构、训练数据、全部评测表格 | 已核对 | 2026-11-20 |
| 论文摘要页 | https://arxiv.org/abs/2610.00576 | 标题、作者、摘要、版本日期、页数、DOI | 已核对 | 2026-11-20 |
| 论文全文(HTML) | https://arxiv.org/html/2610.00576v2 | 基座、32 个交互 token、前 4 层 Zone I、码本、训练细节、讨论 | 已核对 | 2026-11-20 |
| 代码仓库 | https://github.com/GeWu-Lab/Gestalt | 快速上手、推理命令、数据格式、引用、许可证、更新动态 | 已核对 | 2026-11-20 |
| 模型权重 | https://huggingface.co/GeWu-Lab/Gestalt | 权重下载(官方项目页与 README 均指向此处) | 本机网络未核实 | 2026-11-20 |
| 在线 Demo | https://huggingface.co/spaces/hugging-apps/gestalt | 官方项目页 Demo 入口 | 本机网络未核实 | 2026-11-20 |
| 论文 DOI | https://doi.org/10.48550/arXiv.2610.00576 | arXiv 签发的 DOI | 已核对(由 arXiv 页给出) | 2026-11-20 |
| 同名匿名设计模型榜单 | https://contralabs.com/frontierdesign/leaderboard | 仅用于同名辨析,与本站主体无关 | 非本站主体,仅作辨析 | 2026-11-20 |
链接一律给完整 https:// 地址,复制即可用。「本机网络未核实」是如实记录建站时的网络情况,不代表链接失效。
版权口径:不搬运官方示意图、示例生成图、机构标识、微信群二维码;站内几何图示与三角形标识均为自绘并标注依据;色值取官方既有三色仅作语义呼应。
23 · 覆盖对照与边界
23.1 内容域 → 文档章节 → 站点页面
| 内容域 | 本文档章节 | 站点页面 |
|---|---|---|
| 身份与来源 | 模型概览 · 一手来源 | 首页、模型概览、一手来源、关于本站 |
| 论文逐章与形式化目标 | 论文精读 | 论文精读 |
| 金字塔 / Zone I-II / 交互 token | 方法与架构 | 首页、方法与架构 |
| 训练数据、四类交互、清洗流程 | 数据与训练 | 数据与训练 |
| 训练配置全参数、依赖、启动脚本 | 数据与训练 | 数据与训练、上手与资源、仓库结构 |
| 主结果五张表 | 评测数据 | 评测数据 |
| 表征 / 课程 / 遥感 / 定性 | 分析实验 | 分析实验 |
| 评测基准与参评模型 | 术语与词典 | 术语与词典 |
| 代码仓库结构与文件清单 | 上手与资源 | 仓库结构、上手与资源 |
| 快速上手、数据格式、引用 | 上手与资源 | 上手与资源 |
| 术语、常见问题、作者分工 | 术语与词典 / 常见问题 | 术语与词典、常见问题、模型概览 |
| 同名辨析、时间线、许可证缺口 | 附录 | 同名辨析、关于本站、内容全集 |
23.2 站点全部 19 页
- 首页(
index.html)—— 模型档案、金字塔示意、已核实 / 待核实双栏、关键数字、时间线 - 模型概览(
overview/index.html)—— 全称、机构、11 位作者与分工、名字来源、四个官方入口、发布节奏 - 方法与架构(
method/index.html)—— 金字塔三层、Zone I / Zone II、32 个交互 token、离散扩散、三阶段课程 - 数据与训练(
data-training/index.html)—— 三阶段数据、13.7M 四类构成、清洗流程、Stage-III 全参数、依赖与约束 - 评测数据(
benchmarks/index.html)—— 论文 Table 1 / 2 / 3 / 5 / 6 五张主评测表全量数字与读法 - 分析实验(
analysis/index.html)—— Table 4 / 8 / 9 三张补充表、表征可视化、交互 token 分析、定性与讨论 - 上手与资源(
quickstart/index.html)—— 环境、权重、两类推理、训练、数据格式、引用、许可证提示 - 论文精读(
paper/index.html)—— v2 逐章要点、九张表位置对照、48 条参考文献题录 - 仓库结构(
repo/index.html)—— 官方仓库主要文件、三类任务与脚本映射、模型实现模块、元数据 - 术语与词典(
glossary/index.html)—— 26 条核心术语、20 个基准、14 组参评模型、作者与机构编号 - 常见问题(
faq/index.html)—— 15 个高频问题与「不推测」的回答口径 - 内容全集索引(
contents/index.html)—— 全站页面清单、覆盖对照、覆盖边界与官方未给项 - 同名辨析(
samename/index.html)—— 四个同名对象对照与常见误认的成因 - 一手来源(
sources/index.html)—— 全部官方链接、用途、核对状态与版权口径 - 关于本站(
about/index.html)—— 非官方声明、编辑原则、置信度分级、标识与免责 - 中文图解(
diagrams/index.html)—— 8 张自绘中文示意图:金字塔、两个 Zone、四类交互、数据构成、三阶段课程、主评测、表征保留、课程消融 - 全站搜索(
search/index.html)—— 全站条目静态索引,可按关键词本地过滤;不联网、不记录输入 - 完整文档(
handbook/index.html)—— 《Gestalt 内容全集》25 章单页长文,与站点同源同数,附原文下载 - 上游变更日志(
changelog/index.html)—— 上游一手来源的自动快照比对、当前指标、变化记录与未核实项
23.3 站点骨架与全站检索(2026-11-20 定稿)
- 统一两栏:19 页一律「左栏 272px + 右主区」,主区实测宽度一致,不再有窄页 / 宽页两套版式;窄屏自动改为上下单栏,导航与索引一律全开、用两列排版压缩高度。
- 左栏全开:分组导航 19 页与 19 页 / 25 章静态索引默认全部展开,左栏不设独立上下拖动条,随页面整体滚动;禁用脚本时这些条目仍可直接读到。
- 搜索入口与结果:左栏顶部搜索框每页都有,旁边只有一个「搜」按钮,点它或按回车才检索,不在输入过程中改动正文;结果整块显示在右侧主区,按命中权重排序并高亮,点「返回本页内容」回到原页面;
/search/页另有 274 条结构化条目与 1381 条正文全文条目静态直出。 - 索引覆盖:构建时逐块抽取 19 页真实 HTML 的章节、段落、表格行、图注与代码,每条带唯一锚点,点结果直达对应段落;加上 274 条结构化条目,共 1655 条可检索。
- 分词口径:英文与数字整词保留(如
LLaDA-8B-Instruct、0.99677);中文取整词 + 二元切分(bigram),中英连写自动拆词;多个词段之间需同时命中,整词优先、二元片段需过半命中,避免泛召回;结果按权重排序并高亮命中片段。 - 边界:只做字面匹配,不做语义检索;不联网、不记录输入、不写存储;全站唯一两个外部脚本分别是静态索引数据与本地检索增强,主体内容始终直接写在 HTML 源码里。
23.4 上游资料的覆盖边界
- 已全量收录:论文 v2 的 1–5 节与附录 6、7 全部要点;九张表所有数字;48 条参考文献题录;官方项目主页四节评测表;仓库 README 全部段落;Stage-III 配置、依赖、启动脚本、文件树。
- 只转述不搬运:论文正文段落、官方示例图、官方示意图、机构标识、微信群二维码。站内 8 张几何图示均自绘并标注依据。
- 不覆盖:权重文件内容、SFT 数据集本体、在线 Demo 的实际输出、第三方复现结果、社区身份猜测。
工具页不算新事实:中文图解、全站搜索、完整文档(本文件的在线版)与上游变更日志,都是把已收录内容换一种读法或做留痕,不引入新的模型结论。变更日志里的「内容指纹」只说明上游页面字节变了,不等于结论变了。
23.5 官方没给的空格子(不补推测值)
- 许可证:README 写 Apache 2.0,但留有 TODO 待确认注释,仓库根目录无 LICENSE 文件
- SFT 数据:官方 README 写 SFT data coming soon,尚未放出
- 模型权重与在线 Demo:官方页与 README 均给出链接,本机网络未能访问 Hugging Face,未核对当前可访问性与下载量
- 论文没有给出参数量、interplay token 之外的层数分配细节与训练算力,本站不推测
- 官方项目页与 README 未标注最新维护状态;仓库最后推送为 2026-10-10
另外还有:Zone II 具体层数、32 个交互 token 的选取依据与消融、单次推理成本与耗时。
23.6 自动更新机制(2026-11-20 起)
- 定时:每天 09:00 跑一次
tools/news_watch.py publish;全链路只在本地执行,服务器只接收最终静态产物,不跑采集、不跑 AI 任务。 - 官方一手:GitHub 提交/Release、README News、arXiv Atom 版本与 HF 权重提交,与
data/news_baseline.json比对,新动态写进data/news.json;tools/snapshot_diff.py另比对七组元数据与内容指纹,变化追加到data/changelog.json。抓不到就记「未核实」,不推测、不复用旧值。 - 第三方:定时检索官方之外的报道、评论与同名动态,补录进同一份消息表。一律标「待核实」或「仅留痕」,不写入首页「已核实」栏;同名设计模型的身份猜测只做辨析留痕,不认领、不竞猜。
- 发布闸门:
publish依次执行采集 →build.py重建 →verify.py验收 →deploy.py push部署 →deploy.py check复核,任一步失败即停;通过后才更新线上/changelog/的「最新消息」表与核对时间。 - 事实改动口径:只有一手来源可核对的新事实才允许改
data/snapshot.json与正文页,并同步核对日期;第三方消息不触发结论改动。没有新动作时只更新核对时间,不制造变更。 - 免密:部署走本机专用密钥,定时任务无需保存或传递密码。
24 · 参考文献(48 条)
题录从论文 HTML 全文 References 段提取,保留作者、年份、标题与出处,去掉 LaTeX 转换残留的 Cited by 标记。完整原文见 https://arxiv.org/html/2610.00576v2 。
- H. Liu, C. Li, Q. Wu, and Y. J. Lee (2023) Visual instruction tuning. Advances in neural information processing systems 36, pp. 34892–34916.
- S. Bai, K. Chen, X. Liu, J. Wang, W. Ge, S. Song, K. Dang, P. Wang, S. Wang, J. Tang, H. Zhong, Y. Zhu, M. Yang, Z. Li, J. Wan, P. Wang, W. Ding, Z. Fu, Y. Xu, J. Ye, X. Zhang, T. Xie, Z. Cheng, H. Zhang, Z. Yang, H. Xu, and J. Lin (2025) Qwen2.5-vl technical report. arXiv:2502.13923.
- Kimi Team et al. (2026) Kimi K3: open frontier intelligence. arXiv:2607.24653.
- B. E. Stein and M. A. Meredith (1993) The merging of the senses. MIT press.
- M. S. Gazzaniga, R. B. Ivry, and G. R. Mangun (2011) Cognitive neuroscience: the biology of the mind. W. W. Norton.
- X. Tang, J. Wu, and Y. Shen (2016) The interactions of multisensory integration with endogenous and exogenous attention. Neuroscience & Biobehavioral Reviews 61, pp. 208–224.
- W. Köhler (1967) Gestalt psychology. Psychologische forschung 31 ( 1 ), pp. XVIII–XXX.
- F. Shi, Z. Luo, Y. Ge, Y. Yang, Y. Shan, and L. Wang (2025) Scalable image tokenization with index backpropagation quantization. In 2025 IEEE/CVF International Conference on Computer Vision (ICCV), pp. 16037–16046.
- S. Nie, F. Zhu, Z. You, X. Zhang, J. Ou, J. Hu, J. Zhou, Y. Lin, J. Wen, and C. Li (2026) Large language diffusion models. Advances in Neural Information Processing Systems 38, pp. 50608–50646.
- X. An, Y. Xie, K. Yang, W. Zhang, X. Zhao, Z. Cheng, Y. Wang, S. Xu, C. Chen, D. Zhu, et al. (2025) Llava-onevision-1.5: fully open framework for democratized multimodal training. arXiv preprint arXiv:2509.23661.
- J. Guo, T. Zheng, Y. Li, Y. Bai, B. Li, Y. Wang, K. Zhu, G. Neubig, W. Chen, and X. Yue (2025) Mammoth-vl: eliciting multimodal reasoning with instruction tuning at scale. In Proceedings of the 63rd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 13869–13920.
- L. Wiedmann, O. Zohar, A. Mahla, X. Wang, R. Li, T. Frere, L. von Werra, A. R. Gosthipaty, and A. Marafioti (2025) Finevision: open data is all you need. arXiv preprint arXiv:2510.17269.
- W. Wang, Z. Gao, L. Gu, H. Pu, L. Cui, X. Wei, Z. Liu, L. Jing, S. Ye, J. Shao, et al. (2025) Internvl3. 5: advancing open-source multimodal models in versatility, reasoning, and efficiency. arXiv preprint arXiv:2508.18265.
- K. Zou, Z. Zhao, B. Liu, and N. Yu (2026) Advancing aesthetic image generation via composition transfer. International Journal of Computer Vision 134, pp. 252.
- J. Chen, Z. Cai, P. Chen, S. Chen, K. Ji, X. Wang, Y. Yang, and B. Wang (2025) Sharegpt-4o-image: aligning multimodal models with gpt-4o-level image generation. arXiv preprint arXiv:2506.18095.
- J. Chen, Z. Xu, X. Pan, Y. Hu, C. Qin, T. Goldstein, L. Huang, T. Zhou, S. Xie, S. Savarese, et al. (2025) Blip3-o: a family of fully open unified multimodal models-architecture, training and dataset. arXiv preprint arXiv:2505.09568.
- J. Betker, G. Goh, L. Jing, T. Brooks, J. Wang, L. Li, L. Ouyang, J. Zhuang, J. Lee, Y. Guo, W. Manassra, P. Dhariwal, C. Chu, Y. Jiao, and A. Ramesh (2023) Improving image generation with better captions. Technical report OpenAI.
- B. F. Labs (2024) FLUX. Note: https://github.com/black-forest-labs/flux
- C. Deng, D. Zhu, K. Li, C. Gou, F. Li, Z. Wang, S. Zhong, W. Yu, X. Nie, Z. Song, et al. (2025) Emerging properties in unified multimodal pretraining. arXiv preprint arXiv:2505.14683.
- X. Chen, Z. Wu, X. Liu, Z. Pan, W. Liu, Z. Xie, X. Yu, and C. Ruan (2025) Janus-pro: unified multimodal understanding and generation with data and model scaling. arXiv preprint arXiv:2501.17811.
- Y. Wang, Z. Li, Y. Zang, J. Bu, Y. Zhou, Y. Xin, J. He, C. Wang, Q. Lu, C. Jin, et al. (2025) UniGenBench++: a unified semantic evaluation benchmark for text-to-image generation. arXiv preprint arXiv:2510.18701.
- X. Wei, J. Zhang, Z. Wang, H. Wei, Z. Guo, and L. Zhang (2025) TIIF-bench: how does your t2i model follow your instructions?. arXiv preprint arXiv:2506.02161.
- C. Fu, P. Chen, Y. Shen, Y. Qin, M. Zhang, X. Lin, J. Yang, X. Zheng, K. Li, X. Sun, et al. (2026) MME: a comprehensive evaluation benchmark for multimodal large language models. In Advances in Neural Information Processing Systems, Vol. 38.
- D. A. Hudson and C. D. Manning (2019) GQA: a new dataset for real-world visual reasoning and compositional question answering. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 6700–6709.
- L. Chen, J. Li, X. Dong, P. Zhang, Y. Zang, Z. Chen, H. Duan, J. Wang, Y. Qiao, D. Lin, et al. (2024) Are we on the right way for evaluating large vision-language models?. Advances in Neural Information Processing Systems 37, pp. 27056–27087.
- Y. Li, Y. Du, K. Zhou, J. Wang, X. Zhao, and J. Wen (2023) Evaluating object hallucination in large vision-language models. In Proceedings of the 2023 conference on empirical methods in natural language processing, pp. 292–305.
- xAI (2024) Grok-1.5 vision preview. Note: https://x.ai/news/grok-1.5v Accessed: 2026-05-20.
- S. Tong, Z. Liu, Y. Zhai, Y. Ma, Y. LeCun, and S. Xie (2024) Eyes wide shut? exploring the visual shortcomings of multimodal LLMs. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 9568–9578.
- S. Tong, E. Brown, P. Wu, S. Woo, M. Middepogu, S. C. Akula, J. Yang, S. Yang, A. Iyer, X. Pan, A. Wang, R. Fergus, Y. LeCun, and S. Xie (2024) Cambrian-1: a fully open, vision-centric exploration of multimodal llms. arXiv:2406.16860.
- L. Yang, Y. Tian, B. Li, X. Zhang, K. Shen, Y. Tong, and M. Wang (2026) Mmada: multimodal large diffusion language models. Advances in Neural Information Processing Systems 38, pp. 138867–138907.
- Y. Xin, Q. Qin, S. Luo, K. Zhu, J. Yan, Y. Tai, J. Lei, Y. Cao, K. Wang, Y. Wang, et al. (2025) Lumina-dimoo: an omni diffusion large language model for multi-modal generation and understanding. arXiv preprint arXiv:2510.06308.
- S. Li, K. Kallidromitis, H. Bansal, A. Gokul, Y. Kato, K. Kozuka, J. Kuen, Z. Lin, K. Chang, and A. Grover (2026) Lavida: a large diffusion language model for multimodal understanding. Advances in Neural Information Processing Systems 38, pp. 105101–105134.
- Z. You, S. Nie, X. Zhang, J. ZHOU, Z. Lu, J. Wen, and C. Li (2026) Llada-v: large language diffusion models with visual instruction tuning. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 10093–10105.
- L. Li, Z. Long, Y. Shen, H. Gao, H. Cao, X. Sun, C. Shan, R. He, and C. Fu (2026) Omni-diffusion: unified multimodal understanding and generation with masked discrete diffusion. arXiv preprint arXiv:2603.06577.
- Y. Onoe, S. Rane, Z. Berger, Y. Bitton, J. Cho, R. Garg, A. Ku, Z. Parekh, J. Pont-Tuset, G. Tanzer, et al. (2024) Docci: descriptions of connected and contrasting images. In European Conference on Computer Vision, pp. 291–309.
- J. Xie, Z. Yang, and M. Z. Shou (2026) Show-o2: improved native unified multimodal models. Advances in Neural Information Processing Systems 38, pp. 47490–47518.
- Y. Miao, Z. Yang, Y. Wei, Z. Chen, H. Ni, H. Duan, K. Chen, and D. Hu (2026) Mibench: evaluating lmms on multimodal interaction. arXiv preprint arXiv:2603.13427.
- Y. Li, Q. Gao, T. Zhao, B. Wang, H. Sun, H. Lyu, R. D. Hawkins, N. Vasconcelos, T. Golan, D. Luo, et al. (2024) Core knowledge deficits in multi-modal language models. arXiv preprint arXiv:2410.10855.
- J. Arevalo, T. Solorio, M. Montes-y-Gómez, and F. A. González (2017) Gated multimodal units for information fusion. arXiv preprint arXiv:1702.01992.
- I. Stogiannidis, S. McDonagh, and S. A. Tsaftaris (2025) Mind the gap: benchmarking spatial reasoning in vision-language models. arXiv preprint arXiv:2503.19707.
- S. Zhao, X. Zhang, J. Guo, J. Hu, L. Duan, M. Fu, Y. X. Chng, G. Wang, Q. Chen, Z. Xu, et al. (2025) Unified multimodal understanding and generation models: advances, challenges, and opportunities. arXiv preprint arXiv:2505.02567.
- C. Team (2024) Chameleon: mixed-modal early-fusion foundation models. arXiv preprint arXiv:2405.09818.
- X. Wang, X. Zhang, Z. Luo, Q. Sun, Y. Cui, J. Wang, F. Zhang, Y. Wang, Z. Li, Q. Yu, et al. (2024) Emu3: next-token prediction is all you need. arXiv preprint arXiv:2409.18869.
- R. Yu, X. Ma, and X. Wang (2025) Dimple: discrete diffusion multimodal large language model with parallel decoding. arXiv preprint arXiv:2505.16990.
- C. Zhou, L. Yu, A. Babu, K. Tirumala, M. Yasunaga, L. Shamis, J. Kahn, X. Ma, L. Zettlemoyer, and O. Levy (2025) Transfusion: predict the next token and diffuse images with one multi-modal model. In International Conference on Learning Representations, Vol. 2025, pp. 6446–6469.
- J. Xie, W. Mao, Z. Bai, D. J. Zhang, W. Wang, K. Q. Lin, Y. Gu, Z. Chen, Z. Yang, and M. Z. Shou (2025) Show-o: one single transformer to unify multimodal understanding and generation. In International Conference on Learning Representations, Vol. 2025, pp. 28240–28264.
- A. Aghajanyan, L. Yu, A. Conneau, W. Hsu, K. Hambardzumyan, S. Zhang, S. Roller, N. Goyal, O. Levy, and L. Zettlemoyer (2023) Scaling laws for generative mixed-modal language models. In International Conference on Machine Learning, pp. 265–279.
- J. Luo, Z. Pang, Y. Zhang, T. Wang, L. Wang, B. Dang, J. Lao, J. Wang, J. Chen, Y. Tan, et al. (2024) Skysensegpt: a fine-grained instruction tuning dataset and model for remote sensing vision-language understanding. arXiv preprint arXiv:2406.10100.
文档结束 · 本站/本文档最后核对 2026-11-20 · 内容是对公开资料的非官方整理,可能滞后或有疏漏,不构成使用建议、授权结论或性能承诺。涉及许可、商用与二次分发,请自行向官方确认。
data/ 快照,数字不会各写各的。文档由 tools/make_doc.py 生成、tools/md2html.py 转成静态 HTML;正文、表格与目录全部写在源码里,无脚本。最后核对 2026-11-20。相关:内容全集索引 · 全站搜索。