Gestalt 非官方模型资料站标识 Gestalt非官方模型资料站 · GESTALTX.ORG

非官方 · 与论文作者、GeWu-Lab 及各所属机构无关联 · 数据以官方页面为准,最后核对 2026-11-20

数据与训练

数据怎么造,参数怎么设

这一页把论文附录 6、3.1 节与仓库配置文件里能核对的数字全部摊开:78M 图文对怎么来、13.7M 指令样本怎么分四类、Stage-III 的每一个超参、以及依赖与启动约束。

一、三阶段:数据、目标、来源

阶段数据量训练目标数据来源参数
多模态预训练70M 图文对联合掩码预测:视觉与文本独立掩码、联合重建LLaVA-OneVision-1.5全参数可训练
条件持续预训练8M 图文对条件掩码预测:留一个模态可见,预测另一个论文 3.1 节未单列全参数可训练
指令微调(Stage-III)13.7M 指令样本<br>另含约 2.5M 文生图样本条件掩码预测 + 四类交互数据 + 三阶段课程LLaVA-OneVision-1.5、MAmmoTH-VL、FineVision、InternVL;文生图来自 text-to-image-2M、ShareGPT-4o-Image、BLIP3o-60k全参数可训练

前两阶段合称 78M 对齐图文对。官方项目主页把末阶段写作 13.7M (+≈2.5M T2I),论文正文 3.1 节写 2.5M、附录 6.3 写 2.46M —— 三种写法并列留痕,本站不替官方调和。

二、13.7M 指令数据的四类构成

SFT 阶段按多模态交互金字塔把样本归入冗余 R、文本特有 Ut、视觉特有 Uv、协同 S 四类。汇总口径:2.8M 冗余、4.2M 文本特有、4.0M 视觉特有、2.7M 协同。下面这张表是论文 Table 7 的全量中文整理。

补充表 B · 13.7M 指令数据的构成(论文 Table 7)

附录 6.2 把 13.7M 指令样本按主导交互类型组织。R=冗余、Uv=视觉特有、Ut=文本特有、S=协同。样本数与占比照录 Table 7。

主任务 / 子能力样本数占比主要交互类型
多模态理解(MMU)· 合计 9.743M
图像描述与场景理解3.086M31.7%R, Uv
知识密集型视觉理解2.105M21.6%Ut, S
通用 VQA 与指令遵循1.630M16.7%Uv, S
物体、属性、状态与计数1.558M16.0%Uv
场景文字与 OCR0.437M4.5%Uv
视觉定位与空间理解0.366M3.8%Uv, S
幻觉抑制与难负样本0.324M3.3%Uv
关系与组合推理0.236M2.4%S
纯文本 · 合计 3.957M
文本理解与知识3.957M100.0%Ut
合计
指令数据总量13.700M–R, Uv, Ut, S

怎么读:四类交互的汇总口径:2.8M 冗余、4.0M 视觉特有、4.2M 文本特有、2.7M 协同,合计 13.7M(论文 2.2 节与附录 6.2 一致,只是列举顺序不同)。另有 2.46M 文生图样本不计入这张表,官方主页与 3.1 节把它约写作 ≈2.5M / 2.5M。

三、数据是怎么清洗和归类的

  1. 预训练筛选:从 LLaVA-OneVision-1.5-Midtraining 选高质量图文对,用 Qwen3-VL-32B-Instruct 校验图文一致性,剔除弱对应或错配样本。
  2. SFT 多轮质控:VQ-VAE 把图像压成离散 token 时会丢细节,原本可答的样本可能变得不可答。因此先做规则过滤,再用 Qwen3-VL-32B-Instruct 验证「目标回答所需的视觉证据在 token 化后是否仍然存在」。
  3. 交互类型不逐条标注:在子任务层做。每个子数据集随机抽 100 条,结合任务启发式与模型辅助校验,判断两模态是否提供重叠证据、预测主要依赖哪一侧、还是必须两者合用,再按聚合结果给整个子任务归类。
  4. 图像生成数据单独处理:另收 2.46M 条文生图样本,不决定课程,而是大致均匀分布到三个阶段。

三阶段课程里四类数据全程都在,只调采样比例:先巩固跨模态对齐与语言能力,再强化视觉特有能力,最后推向更深的协同。论文的对照实验见 分析实验 里的 Table 8。

四、Stage-III 训练配置全参数

下面每一条都照录仓库 configs/training/gestalt_stage_3.yaml、scripts/training/gestalt_sft.sh 与 configs/deepspeed/zero_stage2.json。这些是仓库给出的默认值,不等于论文报告的最终超参。

序列与词表

参数值说明
max_length8192最大序列长度
token_budget8192token 预算
base_vocab_size126464原语言词表大小
vqvae_codebook_size16384视觉码本大小(IBQ)
extended_vocab_size142848扩展后词表 = 126464 + 16384
inter_layer_stateinteraction_token交互层状态类型
inter_layer_num4Zone I 层数,与论文「前 4 层」一致

掩码与损失

参数值说明
answer_mask_schedulelinear答案掩码调度;可选 cosine / linear / uniform
image_mask_schedulelinear图像掩码调度
image_loss_weight0.1图像损失权重
loss_weight_modetokensample 按段归一;token 用 1/sqrt(L)/mask_ratio

优化器与步数

参数值说明
learning_rate1e-5学习率
lr_scheduler_typeconstant常数调度
warmup_steps200预热步数
adam_beta10.9AdamW β1
adam_beta20.95AdamW β2
adam_epsilon1.0e-8AdamW ε
weight_decay0.1权重衰减
max_steps40000Stage-III 最大训练步数

训练工程

参数值说明
gradient_accumulation_steps4梯度累积
bf16trueBF16 混合精度
gradient_checkpointingtrue梯度检查点
save_steps1000保存间隔
save_total_limit150最多保留 checkpoint 数
logging_steps10日志间隔
dataloader_num_workers0数据加载进程
remove_unused_columnsfalse保留未使用列

启动脚本默认值(scripts/training/gestalt_sft.sh)

参数值说明
NNODES1节点数
NPROC_PER_NODE1单节点进程数;单卡时不设置
NODE_RANK / MASTER_ADDR / MASTER_PORT0 / 127.0.0.1 / 29500分布式默认值
OUTPUT_DIRoutputs/stage3输出目录
CONFIGconfigs/training/gestalt_stage_3.yaml默认配置
DEEPSPEEDconfigs/deepspeed/zero_stage2.json设 DEEPSPEED=none 可关闭
Parquet 文件数≥ 分布式进程数README 明确的硬约束

DeepSpeed(configs/deepspeed/zero_stage2.json)

参数值说明
zero_optimization.stage2ZeRO-2
allgather_bucket_size / reduce_bucket_size1e8 / 1e8通信桶大小
overlap_comm / reduce_scattertrue / true通信重叠与归约
optimizer.typeAdamW优化器,参数由训练配置自动注入
fp16 / bf16auto / auto精度由启动参数决定
steps_per_print2000日志打印间隔

五、统一掩码扩散目标

论文公式 (1):对多模态序列 x = [xv, xt] 随机掩码一组位置并重建 —— 掩码位置的 token 负对数似然求和取期望,条件为「序列中未被掩码的部分」。因为底层是双向注意力的掩码扩散语言模型,视觉与文本 token 可以互为条件,没有自回归那种固定生成方向。

  • 联合掩码预测(预训练):视觉与文本各自独立掩码、联合重建,同时学模态内结构与双向跨模态依赖。
  • 条件掩码预测(CPT 与 SFT):留一个模态可见、掩码另一个,是联合建模与下游条件生成之间的桥梁。

六、依赖与启动约束

requirements.txt(13 项)

包版本
torch2.10.0
transformers5.2.0
deepspeed0.18.5
accelerate1.12.0
safetensors0.7.0
tokenizers0.22.2
flash-attn未钉版本
numpy1.26.4
pyarrow23.0.0
pyyaml6.0.3
einops0.8.2
pillow10.4.0
tqdm4.67.3

flash-attn 未钉版本。torch 2.10.0 / transformers 5.2.0 / deepspeed 0.18.5 是官方清单里钉死的版本,环境不一致时先回到这份清单核对。

三条硬约束

  • checkpoint 目录必须包含 tokenizer.json,训练直接从此读取分词器。
  • Parquet 文件数不能少于分布式进程数;单机单卡时不设 NPROC_PER_NODE。
  • 文生图推理默认空 system prompt,与训练模板一致;若训练数据用了固定非空系统提示词,推理要传 --system-prompt 同一段文字。

完整的仓库文件树见 仓库结构,可直接复制的命令见 上手与资源。

来源:论文全文 v2(2.2 / 3.1 / 附录 6)、官方仓库 的 README、训练配置、启动脚本与 requirements.txt。数字照录,最后核对 2026-11-20。