Gestalt 非官方模型资料站标识 Gestalt非官方模型资料站 · GESTALTX.ORG

非官方 · 与论文作者、GeWu-Lab 及各所属机构无关联 · 数据以官方页面为准,最后核对 2026-11-20

完整文档 · 25 章

Gestalt 内容全集

非官方中文资料汇编 · 核对日 2026-11-20 · 与 gestaltx.org 同源同数
整理对象:Gestalt: Large Multimodal Interplay Model(大型多模态交互模型)
本文件与站点页面共用 data/ 下的同一份快照由脚本生成,数字不会各写各的。

0 · 关于这份文档

性质:第三方中文整理,与论文作者、GeWu-Lab 及各所属机构无关联;不提供模型调用,不托管权重,不接推广。

来源口径:论文全文 v2、官方项目主页、代码仓库 README 与仓库内配置文件、arXiv 元数据、GitHub API。中文资讯稿只用于了解误读,不作事实依据。所有数字照录,未复现、未重算;官方自己说法不一致时并列展示,不替官方调和。

置信度:能点回一手来源并人工比对的写「已核实」;官方留了待确认标记、本机网络未核实或官方根本没给的,一律放进缺口清单,不推测填空。

覆盖统计

项目数量落点
论文表格9 张(Table 1–9 全部)第 10、11 章 + 站点评测/分析/数据页
参考文献题录48 条第 24 章 + 论文精读页
核心术语26 条第 19 章 + 术语与词典页
评测基准20 个第 19 章
参评模型组14 组第 19 章
常见问题15 条第 20 章 + 常见问题页
作者 / 机构11 位 / 6 所第 19 章
Stage-III 超参40 项第 8 章 + 数据与训练页
仓库主要文件21 项第 16 章 + 仓库结构页
站点页面19 页第 23 章 + 内容全集索引页
自绘中文图解8 张中文图解页(数字取自同一份快照)
全站检索索引1655 条(274 结构化 + 1381 正文块)左栏输入 / 右主区出结果 + 全站搜索页(正文逐块带锚点)
上游观测指标19 项(13 可核对 / 6 未核实)上游变更日志页

在线阅读:这份文档本身也在站内,见 https://gestaltx.org/handbook/(25 章单页长文,纯静态 HTML),并提供 Markdown 原文下载。本文档、站点页面、图解、全文检索索引共用 build.py、tools/md2html.py 与 tools/make_doc.py 生成,改数据后四者一起变。


1 · 它是什么

一句话:Gestalt 是一个围绕「多模态交互」组织起来的统一模型 —— 同一个离散扩散框架里同时做图像生成、多模态理解和纯文本任务,而不是三套模型拼起来。它真正追问的不是「再接一种模态」,而是图像与文本各自独有的信息、共有的信息、以及只有合起来才出现的信息,能不能被同一个模型分别对待。

1.1 身份卡

字段内容
英文全称Gestalt: Large Multimodal Interplay Model
中文可译作大型多模态交互模型(本站译法,非官方定名)
论文编号arXiv:2610.00576(v1 2026-09-30,v2 2026-10-08,17 页 7 图)
DOIhttps://doi.org/10.48550/arXiv.2610.00576
基座LLaDA-8B-Instruct
框架统一离散扩散(unified discrete diffusion)
图像表示IBQ,视觉码本 16,384 项,并入语言词表;交错 MRoPE 保留二维空间位置
交互 token32 个,可学习
Zone I前 4 层 Transformer;其余层为 Zone II
训练数据70M 图文对预训练 + 8M 条件持续预训练 + 13.7M 指令微调(另含约 2.5M 文生图样本)
主要机构中国人民大学高瓴人工智能学院、大模型与智慧治理北京市重点实验室、北京航空航天大学、北京邮电大学、上海人工智能实验室、AresoX
发布时间2026-09-30 放出权重与训练/推理代码(据官方 README 的 News)
许可证README 声明 Apache 2.0,但同句后留有 TODO: confirm license,且仓库根目录未见 LICENSE 文件 —— 使用前请以官方仓库为准

1.2 名字从哪来

README 与论文脚注都写明:名字取自格式塔心理学(Gestalt psychology)那句「整体大于部分之和」(the whole is greater than the sum of its parts)。放在这个模型上很贴切 —— 它关心的正是图像与文本合起来之后多出来的那部分信息。论文引用的是 W. Köhler 1967 年发表于 Psychologische Forschung 的 Gestalt psychology。

1.3 发布节奏

日期事件依据
2026-09-29代码仓库 GeWu-Lab/Gestalt 创建GitHub API created_at
2026-09-30放出模型权重与训练/推理代码;论文 v1 提交 arXiv官方 README News
2026-10-02README 公告 arXiv 论文上线官方 README News
2026-10-08论文 v2 修订版,17 页、7 图,arXiv 页标注 CC BY 4.0arXiv 摘要页
2026-10-10仓库最后一次推送GitHub API pushed_at 快照
待定SFT 数据 coming soon,截至核对日未放出官方 README
2026-11-20本站/本文档逐条核对上述一手来源本次整理

1.4 四个官方入口


2 · 问题背景:从架构兼容到交互

论文开头把大模态模型的演进划成三段:

阶段代表工作做法论文指出的局限
架构兼容LLaVA、Qwen2.5-VL视觉编码器经 projector 接到预训练语言模型模态是接上了,关系没被建模
数据兼容Kimi K3、Qwen 3.8大规模混合模态语料在同一模型里联合预训练把数据凑齐,仍不等于处理好了信息关系
交互(本文)Gestalt显式区分模态特有、跨模态冗余、多模态协同三层信息——

核心判断是一句 more is different:多出来的不是数据,是新的信息关系。在单模态里,信息可能只存在于某一侧、被多侧共享、或只在组合后涌现;这三类关系构成了多模态交互,是多模态学习独有的性质。

论文借人类多感官知觉作类比:感官信息先在各通路内编码,再分阶段逐步整合成连贯表征。这个多阶段组织直接催生了下面的金字塔。


3 · 多模态交互金字塔

3.1 三层定义

层名称处理的信息对应到模型
底层模态特有信息建模 Modality-Specific只有单一模态才知道的信息:图像的颜色纹理、文本里的关系描述Zone I 的独立 FFN 与受限注意力;基座预训练已提供基础
中层跨模态冗余对齐 Cross-Modal Redundancy两种模态都提到的共有内容,用来建立对应关系78M 对齐图文对的联合/条件掩码预训练
顶层多模态协同 Multimodal Synergy必须把互补线索合起来才能得到、任一单侧都给不出的结论Zone II 全模态整合 + 协同类指令数据

3.2 论文那个「两只狗」的例子

文本说:「我有两只狗。大的戴红项圈,小的戴蓝项圈。」图像给出可见的项圈颜色;两者共同提到的「草地上的金毛」建立跨模态对应。单看文本不知道哪只是小的,单看图像不知道大小与颜色的对应规则 —— 合起来才能认出画面里较小的那一只。这就是协同信息。

3.3 金字塔不只是比喻

论文明确说它同时落在三处:架构(Zone I / Zone II 分区)、数据组织(四类交互样本)、训练策略(三阶段课程)。这三处相互对齐,是本文与「把模态塞进同一个模型」类工作最大的区别。


4 · 统一离散扩散与形式化目标

4.1 统一的离散表示

  • 固定的 VQ-VAE 编码器(IBQ)把图像变成离散 token,视觉码本 16,384 项,并入语言词表;仓库配置里 base_vocab_size 126464 + vqvae_codebook_size 16384 = extended_vocab_size 142848。
  • 图像 token 与文本 token 排进同一序列,用交错 MRoPE 保留图像的二维空间位置。
  • 底层是掩码扩散语言模型,双向注意力;视觉与文本 token 可以互为条件,没有自回归那种固定生成方向。

4.2 掩码扩散目标(论文公式 1)

对多模态序列 x = [xᵛ, xᵗ] 随机掩码一组位置 m,重建这些位置上的 token:掩码位置 token 的负对数似然求和取期望,条件为序列中未被掩码的部分。与自回归的关键差别是双向条件化 —— 图像可以条件于文本,文本也可以条件于图像。

4.3 两种掩码预测

目标用在哪个阶段做法学到什么
联合掩码预测 Joint Masked Prediction多模态预训练(70M)视觉与文本 token 独立掩码、联合重建模态内结构 + 双向跨模态依赖,建立联合分布
条件掩码预测 Conditional Masked Prediction持续预训练(8M)与 SFT(13.7M)留一个模态可见,掩码另一个并预测vision↔text 双向条件依赖,是联合建模与下游条件生成的桥梁

5 · 架构:两个 Zone 与交互 token

部件设定作用
Interplay Zone I(瓶颈交互)论文指定前 4 层 Transformer;仓库 inter_layer_num: 4 印证视觉与文本走各自独立 FFN,跨模态直连注意力受限,交换只能经交互 token 中介;先保住模态特有表征
Interplay Zone II(全模态交互)Zone I 之后的其余层;Figure 2 记为 N₂解除限制,全模态自注意力 + 共享 FFN,图像/文本/交互 token 直接互通,建模协同信息
交互 token32 个可学习 token,贯穿两个 ZoneZone I 里中介交换,Zone II 里继续聚合任务相关信息
视觉 FFN 初始化Zone I 新增的视觉 FFN 由 LLaDA 对应层文本 FFN 初始化继承预训练能力,避免从零学起
基座LLaDA-8B-Instruct提供已具备的模态特有基础,所以多模态训练从中层冗余对齐起步

论文把两个 Zone 合起来概括为 preserve-then-integrate 路径:先专业化、再受控交换、最后完全整合。

论文没给的:Zone II 的具体层数(只写 N₁ / N₂)、Gestalt 自身参数量、32 这个交互 token 数量的选取依据或消融。这些格子本站留空。


6 · 训练数据

6.1 三阶段总表

阶段数据量训练目标数据来源
多模态预训练70M 图文对联合掩码预测LLaVA-OneVision-1.5
条件持续预训练8M 图文对条件掩码预测论文 3.1 节未单列
指令微调 Stage-III13.7M 指令样本 + 约 2.5M 文生图样本条件掩码预测 + 四类交互数据 + 三阶段课程LLaVA-OneVision-1.5、MAmmoTH-VL、FineVision、InternVL;文生图来自 text-to-image-2M、ShareGPT-4o-Image、BLIP3o-60k

前两阶段合称 78M 对齐图文对;所有阶段全参数可训练。

6.2 四类交互与 13.7M 的构成

SFT 样本按主导信息结构分为冗余 R、文本特有 Ut、视觉特有 Uv、协同 S。汇总:2.8M 冗余、4.2M 文本特有、4.0M 视觉特有、2.7M 协同,合计 13.7M。

补充表 B · 13.7M 指令数据的构成(论文 Table 7)

附录 6.2 把 13.7M 指令样本按主导交互类型组织。R=冗余、Uv=视觉特有、Ut=文本特有、S=协同。样本数与占比照录 Table 7。

主任务 / 子能力样本数占比主要交互类型
多模态理解(MMU)· 合计 9.743M
图像描述与场景理解3.086M31.7%R, Uv
知识密集型视觉理解2.105M21.6%Ut, S
通用 VQA 与指令遵循1.630M16.7%Uv, S
物体、属性、状态与计数1.558M16.0%Uv
场景文字与 OCR0.437M4.5%Uv
视觉定位与空间理解0.366M3.8%Uv, S
幻觉抑制与难负样本0.324M3.3%Uv
关系与组合推理0.236M2.4%S
纯文本 · 合计 3.957M
文本理解与知识3.957M100.0%Ut
合计
指令数据总量13.700M–R, Uv, Ut, S
怎么读:四类交互的汇总口径:2.8M 冗余、4.0M 视觉特有、4.2M 文本特有、2.7M 协同,合计 13.7M(论文 2.2 节与附录 6.2 一致,只是列举顺序不同)。另有 2.46M 文生图样本不计入这张表,官方主页与 3.1 节把它约写作 ≈2.5M / 2.5M。

6.3 数据清洗与归类流程(附录 6)

  1. 预训练筛选:从 LLaVA-OneVision-1.5-Midtraining 选高质量图文对,用 Qwen3-VL-32B-Instruct 校验图文一致性,剔除弱对应/错配样本。
  2. SFT 多轮质控:VQ-VAE 压缩会丢细节,原本可答的样本在 token 化后可能不再可答。先规则过滤,再用 Qwen3-VL-32B-Instruct 验证「目标回答所需的视觉证据在 token 化后是否仍然存在」。
  3. 交互类型不逐条标注:在子任务层做 —— 每个子数据集随机抽 100 条,结合任务启发式与模型辅助校验,判断两模态是否提供重叠证据、预测主要依赖哪一侧、还是必须两者合用,再按聚合结果给整个子任务归类。
  4. 图像生成数据:另收 2.46M 条,不决定课程,大致均匀分布到三个阶段。

6.4 一个口径差异,照录不调和

同一批文生图样本,论文 3.1 节写 2.5M、附录 6.3 写 2.46M、官方项目主页与 README 写 ≈2.5M。三者并列留痕,本站不挑一个当「准数」。


7 · 三阶段课程与对照实验

四类数据全程都在,只调采样比例:阶段 1 巩固跨模态对齐与语言能力,阶段 2 强化视觉特有能力,阶段 3 推向更深的多模态整合。

补充表 C · 三阶段课程的对照实验(论文 Table 8)

从同一 CPT checkpoint 出发、只用 10% SFT 数据,比较「全程均匀混合」与「按交互类型排课程」。U=Uniform,C=Curriculum,Diff.=C 减 U。数字照录 Table 8。

指标阶段 1 · U阶段 1 · C阶段 1 · Diff.阶段 2 · U阶段 2 · C阶段 2 · Diff.阶段 3 · U阶段 3 · C阶段 3 · Diff.
MMStar-P49.5245.08-4.4449.4249.72+0.3051.6753.87+2.20
MME-P917.11030.9+113.81135.81178.5+42.71249.51211.6-37.9
MMVP26.6728.00+1.3332.6726.00-6.6729.3331.33+2.00
CVBench-2D68.6468.08-0.5673.0272.11-0.9073.9974.62+0.63
怎么读:这张表最容易被误读成「课程更好」。实际结论是能力的出现顺序被改变了:早期偏冗余与文本,宽泛感知(MME-P +113.8)上来得快,细粒度感知反而落后;到阶段 3,MMStar-P(+2.20)与 CVBench-2D(+0.63)反超,MME-P 则转为 -37.9。论文自己写的是 progressively reshapes,不是 uniformly improves。

这张表最容易被误读成「课程更好」。论文原文的措辞是 *progressively reshapes the model toward different aspects of multimodal capability*,并明确写了 *does not simply provide a uniform gain across benchmarks*。真实结论是能力的出现顺序被改变:早期宽泛感知上来得快、细粒度感知落后;到后期反转。


8 · Stage-III 训练配置全参数

以下逐条照录仓库 configs/training/gestalt_stage_3.yaml、scripts/training/gestalt_sft.sh、configs/deepspeed/zero_stage2.json。这些是仓库默认值,不等于论文报告的最终超参。

8.1 序列与词表

参数值说明
max_length8192最大序列长度
token_budget8192token 预算
base_vocab_size126464原语言词表大小
vqvae_codebook_size16384视觉码本大小(IBQ)
extended_vocab_size142848扩展后词表 = 126464 + 16384
inter_layer_stateinteraction_token交互层状态类型
inter_layer_num4Zone I 层数,与论文「前 4 层」一致

8.2 掩码与损失

参数值说明
answer_mask_schedulelinear答案掩码调度;可选 cosine / linear / uniform
image_mask_schedulelinear图像掩码调度
image_loss_weight0.1图像损失权重
loss_weight_modetokensample 按段归一;token 用 1/sqrt(L)/mask_ratio

8.3 优化器与步数

参数值说明
learning_rate1e-5学习率
lr_scheduler_typeconstant常数调度
warmup_steps200预热步数
adam_beta10.9AdamW β1
adam_beta20.95AdamW β2
adam_epsilon1.0e-8AdamW ε
weight_decay0.1权重衰减
max_steps40000Stage-III 最大训练步数

8.4 训练工程

参数值说明
gradient_accumulation_steps4梯度累积
bf16trueBF16 混合精度
gradient_checkpointingtrue梯度检查点
save_steps1000保存间隔
save_total_limit150最多保留 checkpoint 数
logging_steps10日志间隔
dataloader_num_workers0数据加载进程
remove_unused_columnsfalse保留未使用列

8.5 启动脚本默认值(scripts/training/gestalt_sft.sh)

参数值说明
NNODES1节点数
NPROC_PER_NODE1单节点进程数;单卡时不设置
NODE_RANK / MASTER_ADDR / MASTER_PORT0 / 127.0.0.1 / 29500分布式默认值
OUTPUT_DIRoutputs/stage3输出目录
CONFIGconfigs/training/gestalt_stage_3.yaml默认配置
DEEPSPEEDconfigs/deepspeed/zero_stage2.json设 DEEPSPEED=none 可关闭
Parquet 文件数≥ 分布式进程数README 明确的硬约束

8.6 DeepSpeed(configs/deepspeed/zero_stage2.json)

参数值说明
zero_optimization.stage2ZeRO-2
allgather_bucket_size / reduce_bucket_size1e8 / 1e8通信桶大小
overlap_comm / reduce_scattertrue / true通信重叠与归约
optimizer.typeAdamW优化器,参数由训练配置自动注入
fp16 / bf16auto / auto精度由启动参数决定
steps_per_print2000日志打印间隔

9 · 依赖与启动约束

9.1 requirements.txt

包版本
torch2.10.0
transformers5.2.0
deepspeed0.18.5
accelerate1.12.0
safetensors0.7.0
tokenizers0.22.2
flash-attn未钉版本
numpy1.26.4
pyarrow23.0.0
pyyaml6.0.3
einops0.8.2
pillow10.4.0
tqdm4.67.3

flash-attn 未钉版本;torch 2.10.0 / transformers 5.2.0 / deepspeed 0.18.5 是钉死的。

9.2 三条硬约束

  1. checkpoint 目录必须包含 tokenizer.json,训练直接从此读取分词器。
  2. Parquet 文件数不能少于分布式进程数;单机单卡时不设 NPROC_PER_NODE。
  3. 文生图推理默认空 system prompt,与训练模板一致;若训练数据用了固定非空系统提示词,推理要传 --system-prompt 同一段文字。

10 · 主评测:五张表全量数字

下面五张表照录官方项目主页(与论文 Table 1 / 2 / 3 / 5 / 6 一致)。「↑」后是原表标注的领先幅度,「†」「–」沿用原表记号,含义以官方页面为准。本站未复现、未重算、未删行。

一、细粒度文生图 · UniGenBench

官方描述:Gestalt 在参评模型中取得最高总分,兼顾细粒度语义对齐与组合式生成。下表为英文长提示设置。

模型OverallStyleWorldAttr.ActionRel.Comp.GrammarLayoutLogicText
生成专用模型(Gen. Only)
DALL-E-370.8295.0892.7184.9868.3677.9073.8868.1971.7657.1118.26
SD-3.5-Large64.3588.1288.1578.7859.6367.6262.2165.2371.1944.9017.66
OmniGen271.3994.3584.8383.0366.5773.0670.4976.4080.6356.5527.99
统一模型(Unified)
Emu350.9589.3676.1666.8143.8051.7046.0050.2556.6727.431.36
Show-o270.3393.1188.4486.3569.0277.3776.4570.3080.6359.711.90
Janus-Pro71.1194.0288.1581.8169.1477.9676.5374.6282.1462.624.08
MMaDA40.1075.8352.7549.9032.4239.0638.3750.0043.0219.420.27
BAGEL71.2692.4489.3184.2167.6275.7074.7174.7581.9059.7112.23
Lumina-DiMOO71.8186.8888.5883.7169.6673.3374.9374.4984.8458.0123.64
Gestalt73.30↑1.4995.85↑0.7781.6582.5168.5778.12↑0.1681.20↑4.6782.23↑5.8385.79↑0.9573.28↑10.663.80
怎么读:Overall 是总分;Text 一列考察图中文字,Gestalt 为 3.80,明显不是强项 —— 看总分时别忽略分项。

二、长短指令文生图 · TIIF-Bench

官方描述:短、长指令两类设置下均领先,长提示引入更多相互依赖的要求时优势更大。四组指标各分短/长两列。

模型Overall · ShortOverall · LongBasic · ShortBasic · LongAdvanced · ShortAdvanced · LongDesigner · ShortDesigner · Long
生成专用模型(Gen. Only)
PixArt-Sigma62.0058.1270.6675.2557.6549.5062.1152.41
FLUX.1 Pro67.3269.8979.0878.9161.1065.3771.8068.80
MidJourney V768.7465.6977.4176.0064.6660.5368.8363.61
SD 3.5 Large71.1566.9678.3479.5667.6761.1864.4366.39
统一模型(Unified)
Emu343.3839.4449.8842.0837.0933.5253.7360.45
MMaDA52.3252.9065.7866.7150.3250.7660.4555.60
Show-o267.3868.7681.1684.0669.2572.9975.3775.75
Janus-Pro66.5065.0279.3378.2559.7158.8265.8460.25
BAGEL71.5071.7081.7980.0570.2472.1968.2867.91
Lumina-DiMOO71.2768.5375.5078.2970.4968.3369.7870.90
Gestalt74.57↑3.0778.86↑7.1683.79↑2.0086.06↑2.0072.60↑2.1177.69↑4.7084.70↑9.3388.81↑13.06
怎么读:论文正文把 74.57 / 78.86 写作 TIIF-Bench 的短/长设置成绩;长指令上的领先幅度普遍更大。

三、多模态理解

官方描述:视觉为中心的任务上增益更明显,反映在统一模型里保留模态特有信息的价值。

模型MME-PGQAMMStar-PPOPERWQAMMVPCVB2dCVB3d
自回归基座(AR-Based)
BAGEL1687.0†66.470.988.267.669.3†77.784.2
扩散基座(Diffusion-based)
MMaDA1410.7†61.3†43.086.1†48.217.355.354.8
Lumina-DiMOO1534.2†43.3–87.4†35.934.054.352.0
LaViDA-o1431.054.155.9–56.647.373.470.8
LLaDA-o1412.0†58.055.687.266.446.778.075.9
Omni-diffusion1216.7†––76.6†––––
本站主体
Gestalt1600.2↑66.060.260.886.559.148.7↑1.478.9↑0.986.1↑10.2
怎么读:MME-P 一项 BAGEL 的 1687.0 高于 Gestalt 的 1600.2;Gestalt 的优势集中在 CV-Bench 两条视觉细项上,不是全项通吃。

四、纯文本能力

官方描述:在参评的扩散式统一模型中整体领先,语言表现与 Janus-Pro 等自回归模型相当。

模型MMLUTruthfulQAWinoGrandeHellaSwagARC-EARC-C
自回归基座(AR-Based)
Show-o271.7046.9474.0376.6784.4358.53
Janus-Pro49.9041.7267.1768.4165.7440.70
BAGEL28.0240.5150.7528.5927.5323.63
扩散基座(Diffusion-based)
MMaDA40.1443.8154.8545.8146.7228.67
Lumina-DiMOO29.7543.3451.6239.1144.4426.45
LLaDA-o25.2552.3051.2230.7236.6624.66
本站主体
Gestalt49.50↑9.3647.5560.62↑5.7753.44↑7.6362.29↑15.5743.69↑15.02
怎么读:这里的「领先」限定在扩散式统一模型这一组;与 Show-o2 的 MMLU 71.70 相比仍有差距。

五、视觉特有与协同能力

官方描述:视觉特有表现与协同类指标相配,在参评的扩散式模型中取得领先的协同结果。

模型MIB-V(视觉特有)CoreCog-SM(协同)MM-IMDb(协同)SRBench(协同)
自回归基座(AR-Based)
BAGEL65.9665.0060.6051.89
扩散基座(Diffusion-based)
MMaDA44.2343.2030.3936.72
Lumina-DiMOO56.4342.2031.2245.50
LLaDA-o60.3153.3039.6450.89
LaViDa-O58.0750.6051.5440.89
本站主体
Gestalt59.8955.20↑1.9067.07↑15.5353.17↑2.28
怎么读:MIB-V 一项 LLaDA-o 的 60.31 略高于 Gestalt 的 59.89;这一组表格要看的是协同三项的跃升幅度。

以下数字照录官方项目主页的评测表格,本站仅做中文表头整理与分组排版,未复现、未重算。带 † 与 – 的记号沿用原表,含义以原页为准;↑ 后的数字为原表标注的领先幅度。

分项比总分诚实:MME-P 一项 BAGEL 1687.0 高于 Gestalt 1600.2;UniGenBench 的 Text 分项 Gestalt 只有 3.80;MIB-V 一项 LLaDA-o 60.31 略高于 59.89;纯文本 MMLU 一项 Show-o2 71.70 高于 49.50。这些全部留在表里。官方措辞带「在参评模型中」「在参评的扩散式统一模型中」的限定,本站不写成「全面超越」。


11 · 补充表:表征空间与遥感迁移

补充表 A · 语言表征空间的偏移与保留(论文 Table 4)

以预训练 LLaDA 为参照,衡量两种多模态适配范式对语言嵌入空间的改动。Norm / Distance 看分布偏移,Cosine Sim. / CKA 看结构保留。数值照录论文 Table 4。

模型适配范式Norm MeanNorm StdMean DistanceCosine Sim.CKA
基座(Base)
LLaDA参照7.821.11–––
投影对齐(Projector Alignment)
LLaDA-V投影对齐7.821.110.0430.999980.99997
LaViDa投影对齐7.831.110.1600.999760.99964
LLaDA-O投影对齐8.021.161.5200.981360.97424
统一 token 空间(Unified Token Space)
Lumina-DiMOO统一离散空间0.850.497.4260.587950.43894
Gestalt统一离散空间5.290.762.5900.996770.99494
怎么读:统一 token 空间的模型改动更大,但 Gestalt 的 Cosine 0.99677 与 CKA 0.99494 远高于 Lumina-DiMOO 的 0.58795 / 0.43894 —— 论文据此判断它在建立共享空间的同时大体保住了原有语言几何。Norm Mean 从 7.82 降到 5.29,说明嵌入尺度仍有明显变化,这一点论文没有回避。

补充表 D · 遥感领域迁移(论文 Table 9)

只向训练混合里加入 5 万条 FIT 遥感 VQA 样本,考察模型吸收新视觉域知识的效率。FGRS 考细粒度识别,FGRC 考物体与区域间的关系推理。

模型遥感微调样本FGRSFGRC
BAGEL–42.5136.65
GeoChat–53.4721.90
SkySenseGPT1.415M79.7655.50
Lumina-DiMOO *50K77.77–
Gestalt50K79.3438.20
怎么读:用 5 万条样本得到 FGRS 79.34,逼近用 141.5 万条训练的专业模型 SkySenseGPT 的 79.76;同数据量下也高于 Lumina-DiMOO* 的 77.77。但关系推理 FGRC 只有 38.20,与 55.50 仍有明显差距 —— 论文如实写了 although a gap remains。* 表示 FGRC 评测未完成。

12 · 表征与交互 token 分析

12.1 统一的视觉—语言空间

3.3 节在第 24 层、用 DOCCI 图文对可视化隐藏表征:Lumina-DiMOO 两模态明显分离;Qwen3.8 有部分重叠但大量文本 token 仍与视觉表征分开;Gestalt 的分布更交织。论文脚注说明,因无官方 9B checkpoint,对照用的是蒸馏版 Qwen3.8-9B-Distill,并给出了地址 —— 这是作者自己写明的替代口径。

12.2 语言几何有没有被保住

Table 4 显示:投影对齐类模型对原语言空间改动最小;统一 token 空间类改动更大。但 Gestalt 的 Cosine 0.99677 / CKA 0.99494 远高于 Lumina-DiMOO 的 0.58795 / 0.43894。论文据此判断它「建了新空间,同时大体保住原有表征结构」。同时 Norm Mean 从基座 7.82 降到 5.29,嵌入尺度的明显变化论文没有回避。

12.3 交互 token 会不会按需变形

3.4 节在第 16 层可视化 MIBench 上交互 token 的隐藏表征。MIBench 按预测所需信息把样本分成视觉特有、文本特有、跨模态协同。结果:视觉主导与文本主导样本占据大体分离的区域,协同样本形成第三种分布并部分 bridging 前两者。论文据此判断这些 token 会按信息需求调整交换方式 —— 这是解释性观察,不是因果证明。


13 · 纯文本能力

评测设置:MMLU、WinoGrande、TruthfulQA 用 5-shot,HellaSwag、ARC-Easy、ARC-Challenge 用 0-shot,TruthfulQA 报 MC2。Table 5 里 Gestalt 在六个基准中五项领先扩散式统一模型,ARC-E / ARC-C 提升最大(+15.57 / +15.02);与 AR 模型比,六项全胜 BAGEL,MMLU 49.50 接近 Janus-Pro 的 49.90。论文结论是多模态适配后语言能力仍被保住,不是「语言也全面最强」。


14 · 相关工作、讨论与致谢

相关工作:从架构兼容(视觉编码器 + projector + AR 语言模型)到原生统一模型(共享模型联合预训练,同时支持理解与生成),后者又分自回归 next-token、离散扩散、混合 AR-diffusion / flow-based 三条路线。论文指出的共同缺口是:现有工作聚焦把数据放进同一模型,没有显式组织跨模态的信息关系与涌现性质。

讨论:核心判断是「统一未必要求从最底层就共享全部计算」—— 先模态特有处理、受控交换、再完全整合,可能更好地平衡专长与协同。作者把它和混合模态 scaling law 研究联系起来:既然已有工作把多模态协同视为关键组分,规模效应或许不只取决于模型与数据量,也取决于跨阶段的信息交换如何组织。原文用 suggest / may,是后续研究的提议,不是已验证结论。

致谢与资助:论文写明本工作部分受北京市自然科学基金 4262050 与北京新星计划 202604841277 支持。


15 · 附录实验:定性与领域迁移

15.1 遥感迁移(7.2)

只加 5 万条 FIT 遥感 VQA 样本,FGRS 79.34 逼近用 141.5 万条样本的 SkySenseGPT 79.76,同数据量下也高于 Lumina-DiMOO* 的 77.77;但关系推理 FGRC 只有 38.20,与 55.50 仍有明显差距 —— 论文如实写了 *although a gap remains*。详见第 11 章 Table 9。

15.2 细粒度生成定性(7.3 / Figure 7)

论文举的例子:雪地上的北极熊与企鹅、金字塔前的骆驼队、塞纳河边的情侣与游轮、装在不同容器里的几组花束、内部装不同内容物的相似瓶子、金属空碗旁的小狗。风格覆盖水彩、梵高式油画、印象派、超现实数字艺术、产品摄影、电影感风景与日式动漫。作者强调风格约束影响的是整幅画面的光照、色调、笔触、透视与氛围,而非浮在局部的一层贴图。

以上是论文文字描述,本站不搬运官方示例图。


16 · 代码仓库

仓库 GeWu-Lab/Gestalt,默认分支 main,2026-11-20 快照:创建 2026-09-29、最后推送 2026-10-10、star 28 / fork 3 / 未关闭 issue 2、license 字段为空。这些是会变的元数据,只作留痕,不作结论。

16.1 主要文件

路径用途
README.md项目说明、News、架构、训练、Quick Start、数据格式、引用、许可证、作者分工
archive/Gestalt.pdf论文 PDF 归档
assets/官方标识、金字塔、架构图、评测图、示例图、微信群二维码(本站不搬运)
configs/training/gestalt_stage_3.yamlStage-III SFT 全部超参
configs/deepspeed/zero_stage2.jsonZeRO-2 配置
gestalt/data/datasets.py数据集定义
gestalt/data/stage3.py第三阶段数据加载
gestalt/model/builder.py模型构建
gestalt/model/config.py配置读取
gestalt/model/configuration_llada.pyLLaDA 配置
gestalt/model/flex_attention.py灵活注意力(Zone I 受限交换相关)
gestalt/model/modeling_gestalt.pyGestalt 主体模型
gestalt/model/modeling_llada.pyLLaDA 基座模型
gestalt/model/mrope.py交错 MRoPE 位置编码
gestalt/model/templates.py提示词模板
gestalt/training/trainer.py训练器
scripts/training/gestalt_sft.shStage-III 启动脚本(torchrun)
scripts/training/train_stage3.pyStage-III 训练入口
scripts/inference/run_mmu.py多模态理解推理
scripts/inference/run_t2i.py文生图推理(输出 VQ-VAE token)
requirements.txt13 项依赖,含版本

16.2 三类任务与脚本

task_type任务入口
i2t图生文、多模态理解 MMUscripts/inference/run_mmu.py
t2i文生图scripts/inference/run_t2i.py(输出 VQ-VAE 离散 token)
i2i图生图Stage-III 统一 Parquet schema;README 未单列推理脚本

训练统一走 scripts/training/gestalt_sft.sh → train_stage3.py,配置 configs/training/gestalt_stage_3.yaml,DeepSpeed configs/deepspeed/zero_stage2.json。模型实现的关键模块:modeling_gestalt.py、modeling_llada.py、flex_attention.py(Zone I 受限交换)、mrope.py(二维位置)、templates.py(提示词模板)。


17 · 快速上手(逐条摘自官方 README)

17.1 环境与权重

git clone https://github.com/GeWu-Lab/Gestalt.git
cd Gestalt
pip install -r requirements.txt
huggingface-cli download GeWu-Lab/Gestalt --local-dir /path/to/checkpoint

17.2 多模态理解推理

python scripts/inference/run_mmu.py \
  --model /path/to/checkpoint \
  --image-tokens image_tokens.npy \
  --question "What is in this image?" \
  --token-h 32 --token-w 32

17.3 文生图推理

python scripts/inference/run_t2i.py \
  --model /path/to/checkpoint \
  --prompt "A cat sitting on a windowsill" \
  --output output_tokens.npy \
  --lat-h 32 --lat-w 32

输出是 VQ-VAE 离散 token,不是图片文件。

17.4 Stage-III 训练

DATA_DIR=/path/to/parquet \
PRETRAINED=/path/to/checkpoint \
NPROC_PER_NODE=8 \
scripts/training/gestalt_sft.sh

17.5 数据格式(Parquet 每行字段)

字段图生文 / 理解 i2t文生图 t2i图生图 i2i
task_typei2tt2ii2i
metadata_jsonJSON 字符串JSON 字符串JSON 字符串
conversations字符串 / 轮次列表——
img_tokensVQ-VAE 原始 ID——
system_prompt可选字符串字符串
user_prompt—字符串字符串
input_image_tokens——VQ-VAE 原始 ID
answer_image_tokens—VQ-VAE 原始 IDVQ-VAE 原始 ID

字段名照录 README,改动会导致训练脚本读不到数据。SFT 数据官方标注 coming soon。


18 · 引用与许可证

官方 README 给出的引用条目:

@article{gestalt2026,
  title   = {Gestalt: Large Multimodal Interplay Model},
  author  = {Yang, Zequn and Miao, Yu and Ni, Haotian and Chen, Ziheng and
             Huang, Chengxiang and Zhou, Dongzhan and Chen, Kai and Zhang, Qi and
             Wen, Ji-Rong and Wei, Yake and Hu, Di},
  year    = {2026},
  url     = {https://github.com/GeWu-Lab/Gestalt}
}

论文:arXiv 页面标注 CC BY 4.0;本站只做要点转述与数字照录,不整段搬运正文。

代码许可证:README 写 This project is released under the Apache 2.0 license.,但同一句后面留着 <!-- TODO: confirm license -->,仓库根目录没有 LICENSE 文件,GitHub API 的 license 字段为空。本站按「待核实」处理,不作为授权结论;商用或二次分发前请以官方仓库当前状态为准。


19 · 词典

19.1 核心术语(26 条)

术语含义
Multimodal Interplay / 多模态交互论文核心概念:信息可能只存在于单一模态、被多模态共享、或只在组合后才涌现,这三类关系合称交互。
Multimodal Interplay Pyramid / 多模态交互金字塔底层模态特有信息建模 → 中层跨模态冗余对齐 → 顶层多模态协同;同时约束架构、数据组织与训练顺序。
Modality-specific / 模态特有信息只有某一模态才知道的信息,如图像的颜色纹理、文本里的关系描述。
Redundancy / 冗余信息两种模态都提到的共有内容,用来建立跨模态对应关系。论文记作 R。
Synergy / 协同信息必须把互补线索合起来才能得到、任一单模态都给不出的结论。论文记作 S。
Uv / Ut论文记号:视觉特有信息(visual-unique)与文本特有信息(text-unique)。
Unified Discrete Diffusion / 统一离散扩散图像与文本共用离散 token 空间与同一个掩码预测目标,双向条件化,没有自回归的固定生成方向。
Masked Diffusion Objective论文公式 (1):对多模态序列随机掩码一组位置并重建对应 token,取负对数似然;双向条件化,无固定生成方向。
Joint Masked Prediction / 联合掩码预测预训练目标:视觉与文本 token 各自独立掩码、联合重建,学模态内结构与双向跨模态依赖。
Conditional Masked Prediction / 条件掩码预测CPT 与 SFT 目标:留一个模态可见,掩码并预测另一个,建立 vision↔text 双向条件依赖。
Interplay Token / 交互 token32 个可学习 token,作为视觉流与文本流的共享接口;Zone I 里中介交换,Zone II 里继续聚合任务相关信息。
Interplay Zone I / 瓶颈交互区前 4 层 Transformer;视觉与文本各走独立 FFN,跨模态直连注意力受限,只能经交互 token 交换。
Interplay Zone II / 全模态交互区Zone I 之后的其余层;全模态自注意力 + 共享 FFN,三类 token 直接互通。
Preserve-then-integrate论文对两个 Zone 合起来作用的概括:先保住模态特有表征,再做完全整合。
IBQ / Index Backpropagation Quantization图像 tokenizer,固定 VQ-VAE 编码器,码本 16,384 项;论文引用 ICCV 2025 的工作。
VQ-VAE token图像被压缩成的离散 ID。推理时 run_t2i.py 输出的就是它,不是图片文件。
MRoPE / interleaved MRoPE交错多维旋转位置编码,用来在共享序列里保留图像 token 的二维空间位置。
LLaDA-8B-Instruct基座模型:掩码扩散语言模型,双向注意力;Gestalt 从这里初始化。
CPT / Continual Pretraining持续预训练,8M 图文对,条件掩码预测。
SFT / Supervised Fine-Tuning指令微调,13.7M 四类交互样本 + 约 2.5M 文生图样本,三阶段课程。
Interplay-Oriented Curriculum三阶段课程:四类数据全程保留,只调采样比例,重心从冗余/文本 → 视觉特有 → 协同。
CKACentered Kernel Alignment,衡量两组表征结构的相似度,Table 4 用来衡量语言空间保留程度。
ZeRO-2DeepSpeed 的优化器状态与梯度分片策略,仓库默认配置。
ParquetStage-III 训练数据的文件格式,统一 schema 覆盖 i2t / t2i / i2i 三类任务。
MMUMultimodal Understanding,多模态理解;推理脚本 run_mmu.py 对应这一类任务。
T2I / I2T / I2I文生图 / 图生文 / 图生图,对应数据格式里的 task_type 三种取值。

19.2 评测基准(20 个)

基准类别 / 考察点说明
UniGenBench细粒度文生图属性、动作、空间关系、组合、逻辑推理等 11 个分项;官方表为 English Long 设置。
TIIF-Bench复杂指令遵循的文生图短 / 长两种提示,Overall、Basic、Advanced、Designer 四组指标。
MME-P多模态理解(感知)MME 的感知分项,分数为千量级;Table 3 中 BAGEL 1687.0 高于 Gestalt 1600.2。
GQA真实场景视觉推理与组合式问答Table 3 的通用 VQA 组。
MMStar-P多模态感知MMStar 的 Perception 分项;课程消融表也用它做细粒度感知指标。
POPE物体幻觉判断模型是否幻觉出不存在的物体。
RWQA / RealworldQA真实世界场景问答Table 3 的通用 VQA 组。
MMVP视觉中心感知专门暴露多模态大模型视觉短板的基准。
CV-Bench 2D / 3D视觉中心理解Table 3 里 Gestalt 78.9 / 86.1,均超过 BAGEL 的 77.7 / 84.2。
MMLU纯文本知识与推理5-shot。
TruthfulQA文本真实性与抗误导5-shot,报 MC2。
WinoGrandecommonsense 指代消解5-shot。
HellaSwag常识续写0-shot。
ARC-E / ARC-C科学问答 Easy / Challenge0-shot;Gestalt 在这两项提升最大(+15.57 / +15.02)。
MIB-V / MIBench-Visual视觉特有信息能力Table 6 的视觉类指标;LLaDA-o 60.31 略高于 Gestalt 59.89。
CoreCog-SM基础感知运动认知CoreCognition 的 Sensorimotor 子集。
MM-IMDb跨模态协同电影多模态分类,需联合图文信息;Gestalt 67.07,领先幅度 +15.53。
SRBench空间关系推理协同类指标;Gestalt 53.17。
DOCCI表征可视化数据源不是评分基准;3.3 节用它取图文对做第 24 层表征可视化。
FGRS / FGRC遥感细粒度识别 / 关系推理附录 7.2 的领域迁移评测。

19.3 参评模型(14 组)

模型所属组别在论文里的角色
DALL-E-3 / SD-3.5-Large / OmniGen2生成专用UniGenBench 参照组。
PixArt-Sigma / FLUX.1 Pro / MidJourney V7 / SD 3.5 Large生成专用TIIF-Bench 参照组。
Emu3统一 · 自回归next-token prediction 路线;UniGenBench 50.95。
Show-o2统一 · 混合改进版原生统一模型;纯文本 MMLU 71.70,为 Table 5 全表最高。
Janus-Pro统一 · 自回归理解与生成统一;TIIF / 纯文本参照。
BAGEL统一 · 自回归Table 3 唯一的 AR 参照,MME-P 1687.0 为全表最高。
MMaDA统一 · 扩散多模态大扩散语言模型。
Lumina-DiMOO统一 · 扩散Table 1 统一组最高 71.81;Table 4 表征偏移最大。
LaViDA-o / LaViDa-O统一 · 扩散论文两处大小写不一致,本站照录原表写法。
LLaDA-o统一 · 扩散Table 6 的 MIB-V 60.31 略高于 Gestalt。
Omni-diffusion统一 · 扩散掩码离散扩散统一模型。
Qwen3.8-9B-Distill统一 · 自回归(对照)3.3 节表征可视化对照;因无官方 9B checkpoint,论文改用蒸馏版并给出脚注说明。
GeoChat / SkySenseGPT遥感专用附录 7.2 的领域参照;SkySenseGPT 用 1.415M 遥感样本。
Kimi K3 / Qwen 3.8 / LLaVA / Qwen2.5-VL引言提及用于说明「架构兼容 → 数据兼容」的演进,不在评测表里。

19.4 机构编号

编号机构
1中国人民大学高瓴人工智能学院(北京)
2大模型与智慧治理北京市重点实验室
3北京航空航天大学
4北京邮电大学
5上海人工智能实验室
6AresoX

19.5 作者与分工

作者机构编号分工(据 Author Contributions)
Zequn Yang1,2共同一作;项目整体推进;模型预训练与 SFT;架构与核心实验;论文写作
Yu Miao1,2共同一作;架构与核心实验;数据处理与组织;图像生成能力评测
Haotian Ni3共同一作;架构与核心实验;多模态理解评测
Ziheng Chen1,2共同一作;数据处理与组织;纯文本能力评测
Chengxiang Huang4共同一作;数据处理与组织
Dongzhan Zhou5技术设计与方法论讨论
Kai Chen5技术设计与方法论讨论
Qi Zhang5技术设计与方法论讨论
Ji-Rong Wen1,2技术设计与方法论讨论
Yake Wei1,2团队负责人;项目整体推进;论文写作与修订;监督指导
Di Hu1,2,6通讯作者、团队负责人;发起项目;论文写作与修订;监督指导

† 共同一作(前五位),‡ 团队负责人,✉ 通讯作者 Di Hu;标 * 者部分工作在上海人工智能实验室实习期间完成。分工文字依据 README 与论文 Acknowledgments 段。


20 · 常见问题(15 条)

1. 这个中文站是官方的吗?

不是。本站是第三方中文整理,与论文作者、GeWu-Lab 及各所属机构无关联,不提供模型调用,也不托管权重。

2. 为什么中文网上有完全不同的两个 Gestalt?

至少四个同名对象:本模型、匿名 stealth 设计模型、格式塔心理学、其他同名产品。中文圈常把本模型误当成匿名设计模型的出处,无任何公开确认。看同名辨析页。

3. 模型有多大?参数量多少?

官方只写基座 LLaDA-8B-Instruct,论文、主页、README 都没有给出 Gestalt 自身参数量、训练算力与耗时。本站不推测。

4. 能直接体验吗?

官方主页给了 Hugging Face Space Demo 链接,但本站建站时本机网络访问 Hugging Face 未成功,因此不写「可正常体验」,只原样列完整地址。请以官方页面当前状态为准。

5. 许可证是 Apache 2.0 吗?

README 这么写,但同一句后留着 TODO: confirm license,仓库根目录没有 LICENSE 文件,GitHub API 的 license 字段也为空。本站按「待核实」处理,商用或二次分发请自行向官方确认。

6. 论文是 CC BY 4.0 吗?

arXiv 页面标注 CC BY 4.0。本站只做要点转述与数字照录,不整段搬运论文正文。

7. SFT 数据能下载吗?

README 写 SFT data coming soon,截至 2026-11-20 核对日尚未放出。

8. 交互 token 为什么是 32 个?

论文只说使用 32 个可学习交互 token,没有给出取这个数目的消融或理由。本站不补解释。

9. Zone II 有多少层?

Figure 2 把两区段写作 N1 / N2 层,正文只明确前 4 层为 Zone I,未给 N2 数值。本站不推测。

10. 为什么 13.7M 之外还有 2.5M?

13.7M 是理解与纯文本指令样本;另收 2.46M 文生图样本(官方约写作 2.5M),大致均匀分布到三个阶段,不参与四类交互的课程划分。

11. 三阶段课程真的比均匀混合好吗?

不是无条件更好。论文 Table 8 显示它改变的是能力出现的顺序:早期 MME-P +113.8 但 MMStar-P -4.44,到阶段 3 反转。论文原文是 progressively reshapes,不是 uniformly improves。

12. Gestalt 是不是「全面超越」其他模型?

不是。Table 3 的 MME-P(BAGEL 1687.0 > 1600.2)、Table 5 的 MMLU(Show-o2 71.70 > 49.50)、Table 6 的 MIB-V(LLaDA-o 60.31 > 59.89)、Table 1 的 Text(3.80)都不是第一。官方措辞带「在参评模型中」的限定。

13. 为什么文生图推理输出的是 .npy 而不是图片?

run_t2i.py 输出的是 VQ-VAE 离散 token;要得到图片还需经过解码环节。README 给的就是这条命令与这个输出。

14. 训练时最容易踩的坑是什么?

checkpoint 目录必须含 tokenizer.json;Parquet 文件数不能少于分布式进程数;T2I 默认空 system prompt,若训练数据用了固定非空系统提示词,推理时要通过 --system-prompt 传同一段文字。

15. 发现数字对不上怎么办?

先看核对日期与来源。官方页面与仓库可能更新,本站所有数字带「最后核对」时间戳;以官方原文为准,本站按「改错留痕」原则修订。


21 · 同名辨析

中文信息里最容易出的一次错,是把这个开源多模态论文当成另一个匿名设计模型的「出处」。两者只是同名。

#叫什么是什么时间可核对程度
①Gestalt: Large Multimodal Interplay Model本文档主体。人大高瓴 GeWu-Lab 等的开源统一多模态大模型2026-09 底放出权重与代码论文、代码、权重、项目主页、九张表齐备
②Gestalt(stealth,匿名设计模型)Contra Labs × BenchFlow「Frontier Design Benchmark」榜单上的匿名模型,考完整网站交付2026-11 中旬进入中文视野官方未披露开发方、参数、定价、作品;只有榜单成绩
③格式塔心理学20 世纪初德国心理学学派,「整体大于部分之和」20 世纪初公共知识;是 ① 的名字来源
④其他同名iOS 上的 MobileGestalt 编辑器 GestaltX、同名公路车、格式塔疗法培训等各自不同搜索噪声,与模型无关

截至 2026-11-20,没有任何一方公开确认 ① 与 ② 存在关联。 本文档不参与指认、不做身份猜测,只把可核对的差异摆出来。① 主打图像生成与多模态理解,② 考的是带品牌素材与转化目标的完整网站交付,任务集都不是一回事。

一句话记法:有论文、有 8B 基座、有 32 个交互 token、有九张表的,是本文档这个;只有 Elo 和一堆猜测的,是另一个。


22 · 一手来源

来源完整地址本文档用途核对状态核对日期
官方项目主页https://gewu-lab.github.io/Gestalt/项目定位、架构、训练数据、全部评测表格已核对2026-11-20
论文摘要页https://arxiv.org/abs/2610.00576标题、作者、摘要、版本日期、页数、DOI已核对2026-11-20
论文全文(HTML)https://arxiv.org/html/2610.00576v2基座、32 个交互 token、前 4 层 Zone I、码本、训练细节、讨论已核对2026-11-20
代码仓库https://github.com/GeWu-Lab/Gestalt快速上手、推理命令、数据格式、引用、许可证、更新动态已核对2026-11-20
模型权重https://huggingface.co/GeWu-Lab/Gestalt权重下载(官方项目页与 README 均指向此处)本机网络未核实2026-11-20
在线 Demohttps://huggingface.co/spaces/hugging-apps/gestalt官方项目页 Demo 入口本机网络未核实2026-11-20
论文 DOIhttps://doi.org/10.48550/arXiv.2610.00576arXiv 签发的 DOI已核对(由 arXiv 页给出)2026-11-20
同名匿名设计模型榜单https://contralabs.com/frontierdesign/leaderboard仅用于同名辨析,与本站主体无关非本站主体,仅作辨析2026-11-20

链接一律给完整 https:// 地址,复制即可用。「本机网络未核实」是如实记录建站时的网络情况,不代表链接失效。

版权口径:不搬运官方示意图、示例生成图、机构标识、微信群二维码;站内几何图示与三角形标识均为自绘并标注依据;色值取官方既有三色仅作语义呼应。


23 · 覆盖对照与边界

23.1 内容域 → 文档章节 → 站点页面

内容域本文档章节站点页面
身份与来源模型概览 · 一手来源首页、模型概览、一手来源、关于本站
论文逐章与形式化目标论文精读论文精读
金字塔 / Zone I-II / 交互 token方法与架构首页、方法与架构
训练数据、四类交互、清洗流程数据与训练数据与训练
训练配置全参数、依赖、启动脚本数据与训练数据与训练、上手与资源、仓库结构
主结果五张表评测数据评测数据
表征 / 课程 / 遥感 / 定性分析实验分析实验
评测基准与参评模型术语与词典术语与词典
代码仓库结构与文件清单上手与资源仓库结构、上手与资源
快速上手、数据格式、引用上手与资源上手与资源
术语、常见问题、作者分工术语与词典 / 常见问题术语与词典、常见问题、模型概览
同名辨析、时间线、许可证缺口附录同名辨析、关于本站、内容全集

23.2 站点全部 19 页

  • 首页(index.html)—— 模型档案、金字塔示意、已核实 / 待核实双栏、关键数字、时间线
  • 模型概览(overview/index.html)—— 全称、机构、11 位作者与分工、名字来源、四个官方入口、发布节奏
  • 方法与架构(method/index.html)—— 金字塔三层、Zone I / Zone II、32 个交互 token、离散扩散、三阶段课程
  • 数据与训练(data-training/index.html)—— 三阶段数据、13.7M 四类构成、清洗流程、Stage-III 全参数、依赖与约束
  • 评测数据(benchmarks/index.html)—— 论文 Table 1 / 2 / 3 / 5 / 6 五张主评测表全量数字与读法
  • 分析实验(analysis/index.html)—— Table 4 / 8 / 9 三张补充表、表征可视化、交互 token 分析、定性与讨论
  • 上手与资源(quickstart/index.html)—— 环境、权重、两类推理、训练、数据格式、引用、许可证提示
  • 论文精读(paper/index.html)—— v2 逐章要点、九张表位置对照、48 条参考文献题录
  • 仓库结构(repo/index.html)—— 官方仓库主要文件、三类任务与脚本映射、模型实现模块、元数据
  • 术语与词典(glossary/index.html)—— 26 条核心术语、20 个基准、14 组参评模型、作者与机构编号
  • 常见问题(faq/index.html)—— 15 个高频问题与「不推测」的回答口径
  • 内容全集索引(contents/index.html)—— 全站页面清单、覆盖对照、覆盖边界与官方未给项
  • 同名辨析(samename/index.html)—— 四个同名对象对照与常见误认的成因
  • 一手来源(sources/index.html)—— 全部官方链接、用途、核对状态与版权口径
  • 关于本站(about/index.html)—— 非官方声明、编辑原则、置信度分级、标识与免责
  • 中文图解(diagrams/index.html)—— 8 张自绘中文示意图:金字塔、两个 Zone、四类交互、数据构成、三阶段课程、主评测、表征保留、课程消融
  • 全站搜索(search/index.html)—— 全站条目静态索引,可按关键词本地过滤;不联网、不记录输入
  • 完整文档(handbook/index.html)—— 《Gestalt 内容全集》25 章单页长文,与站点同源同数,附原文下载
  • 上游变更日志(changelog/index.html)—— 上游一手来源的自动快照比对、当前指标、变化记录与未核实项

23.3 站点骨架与全站检索(2026-11-20 定稿)

  • 统一两栏:19 页一律「左栏 272px + 右主区」,主区实测宽度一致,不再有窄页 / 宽页两套版式;窄屏自动改为上下单栏,导航与索引一律全开、用两列排版压缩高度。
  • 左栏全开:分组导航 19 页与 19 页 / 25 章静态索引默认全部展开,左栏不设独立上下拖动条,随页面整体滚动;禁用脚本时这些条目仍可直接读到。
  • 搜索入口与结果:左栏顶部搜索框每页都有,旁边只有一个「搜」按钮,点它或按回车才检索,不在输入过程中改动正文;结果整块显示在右侧主区,按命中权重排序并高亮,点「返回本页内容」回到原页面;/search/ 页另有 274 条结构化条目与 1381 条正文全文条目静态直出。
  • 索引覆盖:构建时逐块抽取 19 页真实 HTML 的章节、段落、表格行、图注与代码,每条带唯一锚点,点结果直达对应段落;加上 274 条结构化条目,共 1655 条可检索。
  • 分词口径:英文与数字整词保留(如 LLaDA-8B-Instruct、0.99677);中文取整词 + 二元切分(bigram),中英连写自动拆词;多个词段之间需同时命中,整词优先、二元片段需过半命中,避免泛召回;结果按权重排序并高亮命中片段。
  • 边界:只做字面匹配,不做语义检索;不联网、不记录输入、不写存储;全站唯一两个外部脚本分别是静态索引数据与本地检索增强,主体内容始终直接写在 HTML 源码里。

23.4 上游资料的覆盖边界

  • 已全量收录:论文 v2 的 1–5 节与附录 6、7 全部要点;九张表所有数字;48 条参考文献题录;官方项目主页四节评测表;仓库 README 全部段落;Stage-III 配置、依赖、启动脚本、文件树。
  • 只转述不搬运:论文正文段落、官方示例图、官方示意图、机构标识、微信群二维码。站内 8 张几何图示均自绘并标注依据。
  • 不覆盖:权重文件内容、SFT 数据集本体、在线 Demo 的实际输出、第三方复现结果、社区身份猜测。

工具页不算新事实:中文图解、全站搜索、完整文档(本文件的在线版)与上游变更日志,都是把已收录内容换一种读法或做留痕,不引入新的模型结论。变更日志里的「内容指纹」只说明上游页面字节变了,不等于结论变了。

23.5 官方没给的空格子(不补推测值)

  • 许可证:README 写 Apache 2.0,但留有 TODO 待确认注释,仓库根目录无 LICENSE 文件
  • SFT 数据:官方 README 写 SFT data coming soon,尚未放出
  • 模型权重与在线 Demo:官方页与 README 均给出链接,本机网络未能访问 Hugging Face,未核对当前可访问性与下载量
  • 论文没有给出参数量、interplay token 之外的层数分配细节与训练算力,本站不推测
  • 官方项目页与 README 未标注最新维护状态;仓库最后推送为 2026-10-10

另外还有:Zone II 具体层数、32 个交互 token 的选取依据与消融、单次推理成本与耗时。

23.6 自动更新机制(2026-11-20 起)

  • 定时:每天 09:00 跑一次 tools/news_watch.py publish;全链路只在本地执行,服务器只接收最终静态产物,不跑采集、不跑 AI 任务。
  • 官方一手:GitHub 提交/Release、README News、arXiv Atom 版本与 HF 权重提交,与 data/news_baseline.json 比对,新动态写进 data/news.json;tools/snapshot_diff.py 另比对七组元数据与内容指纹,变化追加到 data/changelog.json。抓不到就记「未核实」,不推测、不复用旧值。
  • 第三方:定时检索官方之外的报道、评论与同名动态,补录进同一份消息表。一律标「待核实」或「仅留痕」,不写入首页「已核实」栏;同名设计模型的身份猜测只做辨析留痕,不认领、不竞猜。
  • 发布闸门:publish 依次执行采集 → build.py 重建 → verify.py 验收 → deploy.py push 部署 → deploy.py check 复核,任一步失败即停;通过后才更新线上 /changelog/ 的「最新消息」表与核对时间。
  • 事实改动口径:只有一手来源可核对的新事实才允许改 data/snapshot.json 与正文页,并同步核对日期;第三方消息不触发结论改动。没有新动作时只更新核对时间,不制造变更。
  • 免密:部署走本机专用密钥,定时任务无需保存或传递密码。

24 · 参考文献(48 条)

题录从论文 HTML 全文 References 段提取,保留作者、年份、标题与出处,去掉 LaTeX 转换残留的 Cited by 标记。完整原文见 https://arxiv.org/html/2610.00576v2 。

  1. H. Liu, C. Li, Q. Wu, and Y. J. Lee (2023) Visual instruction tuning. Advances in neural information processing systems 36, pp. 34892–34916.
  1. S. Bai, K. Chen, X. Liu, J. Wang, W. Ge, S. Song, K. Dang, P. Wang, S. Wang, J. Tang, H. Zhong, Y. Zhu, M. Yang, Z. Li, J. Wan, P. Wang, W. Ding, Z. Fu, Y. Xu, J. Ye, X. Zhang, T. Xie, Z. Cheng, H. Zhang, Z. Yang, H. Xu, and J. Lin (2025) Qwen2.5-vl technical report. arXiv:2502.13923.
  1. Kimi Team et al. (2026) Kimi K3: open frontier intelligence. arXiv:2607.24653.
  1. B. E. Stein and M. A. Meredith (1993) The merging of the senses. MIT press.
  1. M. S. Gazzaniga, R. B. Ivry, and G. R. Mangun (2011) Cognitive neuroscience: the biology of the mind. W. W. Norton.
  1. X. Tang, J. Wu, and Y. Shen (2016) The interactions of multisensory integration with endogenous and exogenous attention. Neuroscience & Biobehavioral Reviews 61, pp. 208–224.
  1. W. Köhler (1967) Gestalt psychology. Psychologische forschung 31 ( 1 ), pp. XVIII–XXX.
  1. F. Shi, Z. Luo, Y. Ge, Y. Yang, Y. Shan, and L. Wang (2025) Scalable image tokenization with index backpropagation quantization. In 2025 IEEE/CVF International Conference on Computer Vision (ICCV), pp. 16037–16046.
  1. S. Nie, F. Zhu, Z. You, X. Zhang, J. Ou, J. Hu, J. Zhou, Y. Lin, J. Wen, and C. Li (2026) Large language diffusion models. Advances in Neural Information Processing Systems 38, pp. 50608–50646.
  1. X. An, Y. Xie, K. Yang, W. Zhang, X. Zhao, Z. Cheng, Y. Wang, S. Xu, C. Chen, D. Zhu, et al. (2025) Llava-onevision-1.5: fully open framework for democratized multimodal training. arXiv preprint arXiv:2509.23661.
  1. J. Guo, T. Zheng, Y. Li, Y. Bai, B. Li, Y. Wang, K. Zhu, G. Neubig, W. Chen, and X. Yue (2025) Mammoth-vl: eliciting multimodal reasoning with instruction tuning at scale. In Proceedings of the 63rd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 13869–13920.
  1. L. Wiedmann, O. Zohar, A. Mahla, X. Wang, R. Li, T. Frere, L. von Werra, A. R. Gosthipaty, and A. Marafioti (2025) Finevision: open data is all you need. arXiv preprint arXiv:2510.17269.
  1. W. Wang, Z. Gao, L. Gu, H. Pu, L. Cui, X. Wei, Z. Liu, L. Jing, S. Ye, J. Shao, et al. (2025) Internvl3. 5: advancing open-source multimodal models in versatility, reasoning, and efficiency. arXiv preprint arXiv:2508.18265.
  1. K. Zou, Z. Zhao, B. Liu, and N. Yu (2026) Advancing aesthetic image generation via composition transfer. International Journal of Computer Vision 134, pp. 252.
  1. J. Chen, Z. Cai, P. Chen, S. Chen, K. Ji, X. Wang, Y. Yang, and B. Wang (2025) Sharegpt-4o-image: aligning multimodal models with gpt-4o-level image generation. arXiv preprint arXiv:2506.18095.
  1. J. Chen, Z. Xu, X. Pan, Y. Hu, C. Qin, T. Goldstein, L. Huang, T. Zhou, S. Xie, S. Savarese, et al. (2025) Blip3-o: a family of fully open unified multimodal models-architecture, training and dataset. arXiv preprint arXiv:2505.09568.
  1. J. Betker, G. Goh, L. Jing, T. Brooks, J. Wang, L. Li, L. Ouyang, J. Zhuang, J. Lee, Y. Guo, W. Manassra, P. Dhariwal, C. Chu, Y. Jiao, and A. Ramesh (2023) Improving image generation with better captions. Technical report OpenAI.
  1. B. F. Labs (2024) FLUX. Note: https://github.com/black-forest-labs/flux
  1. C. Deng, D. Zhu, K. Li, C. Gou, F. Li, Z. Wang, S. Zhong, W. Yu, X. Nie, Z. Song, et al. (2025) Emerging properties in unified multimodal pretraining. arXiv preprint arXiv:2505.14683.
  1. X. Chen, Z. Wu, X. Liu, Z. Pan, W. Liu, Z. Xie, X. Yu, and C. Ruan (2025) Janus-pro: unified multimodal understanding and generation with data and model scaling. arXiv preprint arXiv:2501.17811.
  1. Y. Wang, Z. Li, Y. Zang, J. Bu, Y. Zhou, Y. Xin, J. He, C. Wang, Q. Lu, C. Jin, et al. (2025) UniGenBench++: a unified semantic evaluation benchmark for text-to-image generation. arXiv preprint arXiv:2510.18701.
  1. X. Wei, J. Zhang, Z. Wang, H. Wei, Z. Guo, and L. Zhang (2025) TIIF-bench: how does your t2i model follow your instructions?. arXiv preprint arXiv:2506.02161.
  1. C. Fu, P. Chen, Y. Shen, Y. Qin, M. Zhang, X. Lin, J. Yang, X. Zheng, K. Li, X. Sun, et al. (2026) MME: a comprehensive evaluation benchmark for multimodal large language models. In Advances in Neural Information Processing Systems, Vol. 38.
  1. D. A. Hudson and C. D. Manning (2019) GQA: a new dataset for real-world visual reasoning and compositional question answering. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 6700–6709.
  1. L. Chen, J. Li, X. Dong, P. Zhang, Y. Zang, Z. Chen, H. Duan, J. Wang, Y. Qiao, D. Lin, et al. (2024) Are we on the right way for evaluating large vision-language models?. Advances in Neural Information Processing Systems 37, pp. 27056–27087.
  1. Y. Li, Y. Du, K. Zhou, J. Wang, X. Zhao, and J. Wen (2023) Evaluating object hallucination in large vision-language models. In Proceedings of the 2023 conference on empirical methods in natural language processing, pp. 292–305.
  1. xAI (2024) Grok-1.5 vision preview. Note: https://x.ai/news/grok-1.5v Accessed: 2026-05-20.
  1. S. Tong, Z. Liu, Y. Zhai, Y. Ma, Y. LeCun, and S. Xie (2024) Eyes wide shut? exploring the visual shortcomings of multimodal LLMs. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 9568–9578.
  1. S. Tong, E. Brown, P. Wu, S. Woo, M. Middepogu, S. C. Akula, J. Yang, S. Yang, A. Iyer, X. Pan, A. Wang, R. Fergus, Y. LeCun, and S. Xie (2024) Cambrian-1: a fully open, vision-centric exploration of multimodal llms. arXiv:2406.16860.
  1. L. Yang, Y. Tian, B. Li, X. Zhang, K. Shen, Y. Tong, and M. Wang (2026) Mmada: multimodal large diffusion language models. Advances in Neural Information Processing Systems 38, pp. 138867–138907.
  1. Y. Xin, Q. Qin, S. Luo, K. Zhu, J. Yan, Y. Tai, J. Lei, Y. Cao, K. Wang, Y. Wang, et al. (2025) Lumina-dimoo: an omni diffusion large language model for multi-modal generation and understanding. arXiv preprint arXiv:2510.06308.
  1. S. Li, K. Kallidromitis, H. Bansal, A. Gokul, Y. Kato, K. Kozuka, J. Kuen, Z. Lin, K. Chang, and A. Grover (2026) Lavida: a large diffusion language model for multimodal understanding. Advances in Neural Information Processing Systems 38, pp. 105101–105134.
  1. Z. You, S. Nie, X. Zhang, J. ZHOU, Z. Lu, J. Wen, and C. Li (2026) Llada-v: large language diffusion models with visual instruction tuning. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 10093–10105.
  1. L. Li, Z. Long, Y. Shen, H. Gao, H. Cao, X. Sun, C. Shan, R. He, and C. Fu (2026) Omni-diffusion: unified multimodal understanding and generation with masked discrete diffusion. arXiv preprint arXiv:2603.06577.
  1. Y. Onoe, S. Rane, Z. Berger, Y. Bitton, J. Cho, R. Garg, A. Ku, Z. Parekh, J. Pont-Tuset, G. Tanzer, et al. (2024) Docci: descriptions of connected and contrasting images. In European Conference on Computer Vision, pp. 291–309.
  1. J. Xie, Z. Yang, and M. Z. Shou (2026) Show-o2: improved native unified multimodal models. Advances in Neural Information Processing Systems 38, pp. 47490–47518.
  1. Y. Miao, Z. Yang, Y. Wei, Z. Chen, H. Ni, H. Duan, K. Chen, and D. Hu (2026) Mibench: evaluating lmms on multimodal interaction. arXiv preprint arXiv:2603.13427.
  1. Y. Li, Q. Gao, T. Zhao, B. Wang, H. Sun, H. Lyu, R. D. Hawkins, N. Vasconcelos, T. Golan, D. Luo, et al. (2024) Core knowledge deficits in multi-modal language models. arXiv preprint arXiv:2410.10855.
  1. J. Arevalo, T. Solorio, M. Montes-y-Gómez, and F. A. González (2017) Gated multimodal units for information fusion. arXiv preprint arXiv:1702.01992.
  1. I. Stogiannidis, S. McDonagh, and S. A. Tsaftaris (2025) Mind the gap: benchmarking spatial reasoning in vision-language models. arXiv preprint arXiv:2503.19707.
  1. S. Zhao, X. Zhang, J. Guo, J. Hu, L. Duan, M. Fu, Y. X. Chng, G. Wang, Q. Chen, Z. Xu, et al. (2025) Unified multimodal understanding and generation models: advances, challenges, and opportunities. arXiv preprint arXiv:2505.02567.
  1. C. Team (2024) Chameleon: mixed-modal early-fusion foundation models. arXiv preprint arXiv:2405.09818.
  1. X. Wang, X. Zhang, Z. Luo, Q. Sun, Y. Cui, J. Wang, F. Zhang, Y. Wang, Z. Li, Q. Yu, et al. (2024) Emu3: next-token prediction is all you need. arXiv preprint arXiv:2409.18869.
  1. R. Yu, X. Ma, and X. Wang (2025) Dimple: discrete diffusion multimodal large language model with parallel decoding. arXiv preprint arXiv:2505.16990.
  1. C. Zhou, L. Yu, A. Babu, K. Tirumala, M. Yasunaga, L. Shamis, J. Kahn, X. Ma, L. Zettlemoyer, and O. Levy (2025) Transfusion: predict the next token and diffuse images with one multi-modal model. In International Conference on Learning Representations, Vol. 2025, pp. 6446–6469.
  1. J. Xie, W. Mao, Z. Bai, D. J. Zhang, W. Wang, K. Q. Lin, Y. Gu, Z. Chen, Z. Yang, and M. Z. Shou (2025) Show-o: one single transformer to unify multimodal understanding and generation. In International Conference on Learning Representations, Vol. 2025, pp. 28240–28264.
  1. A. Aghajanyan, L. Yu, A. Conneau, W. Hsu, K. Hambardzumyan, S. Zhang, S. Roller, N. Goyal, O. Levy, and L. Zettlemoyer (2023) Scaling laws for generative mixed-modal language models. In International Conference on Machine Learning, pp. 265–279.
  1. J. Luo, Z. Pang, Y. Zhang, T. Wang, L. Wang, B. Dang, J. Lao, J. Wang, J. Chen, Y. Tan, et al. (2024) Skysensegpt: a fine-grained instruction tuning dataset and model for remote sensing vision-language understanding. arXiv preprint arXiv:2406.10100.

文档结束 · 本站/本文档最后核对 2026-11-20 · 内容是对公开资料的非官方整理,可能滞后或有疏漏,不构成使用建议、授权结论或性能承诺。涉及许可、商用与二次分发,请自行向官方确认。

下载与复制:《Gestalt 内容全集》Markdown 原文 ↓(纯文本,可直接引用与二次整理)。本页与文档、站点页面共用同一份 data/ 快照,数字不会各写各的。

文档由 tools/make_doc.py 生成、tools/md2html.py 转成静态 HTML;正文、表格与目录全部写在源码里,无脚本。最后核对 2026-11-20。相关:内容全集索引 · 全站搜索。