全站搜索结果
数据与训练
数据怎么造,参数怎么设
这一页把论文附录 6、3.1 节与仓库配置文件里能核对的数字全部摊开:78M 图文对怎么来、13.7M 指令样本怎么分四类、Stage-III 的每一个超参、以及依赖与启动约束。
一、三阶段:数据、目标、来源
| 阶段 | 数据量 | 训练目标 | 数据来源 | 参数 |
|---|---|---|---|---|
| 多模态预训练 | 70M 图文对 | 联合掩码预测:视觉与文本独立掩码、联合重建 | LLaVA-OneVision-1.5 | 全参数可训练 |
| 条件持续预训练 | 8M 图文对 | 条件掩码预测:留一个模态可见,预测另一个 | 论文 3.1 节未单列 | 全参数可训练 |
| 指令微调(Stage-III) | 13.7M 指令样本<br>另含约 2.5M 文生图样本 | 条件掩码预测 + 四类交互数据 + 三阶段课程 | LLaVA-OneVision-1.5、MAmmoTH-VL、FineVision、InternVL;文生图来自 text-to-image-2M、ShareGPT-4o-Image、BLIP3o-60k | 全参数可训练 |
前两阶段合称 78M 对齐图文对。官方项目主页把末阶段写作 13.7M (+≈2.5M T2I),论文正文 3.1 节写 2.5M、附录 6.3 写 2.46M —— 三种写法并列留痕,本站不替官方调和。
二、13.7M 指令数据的四类构成
SFT 阶段按多模态交互金字塔把样本归入冗余 R、文本特有 Ut、视觉特有 Uv、协同 S 四类。汇总口径:2.8M 冗余、4.2M 文本特有、4.0M 视觉特有、2.7M 协同。下面这张表是论文 Table 7 的全量中文整理。
补充表 B · 13.7M 指令数据的构成(论文 Table 7)
附录 6.2 把 13.7M 指令样本按主导交互类型组织。R=冗余、Uv=视觉特有、Ut=文本特有、S=协同。样本数与占比照录 Table 7。
| 主任务 / 子能力 | 样本数 | 占比 | 主要交互类型 |
|---|---|---|---|
| 多模态理解(MMU)· 合计 9.743M | |||
| 图像描述与场景理解 | 3.086M | 31.7% | R, Uv |
| 知识密集型视觉理解 | 2.105M | 21.6% | Ut, S |
| 通用 VQA 与指令遵循 | 1.630M | 16.7% | Uv, S |
| 物体、属性、状态与计数 | 1.558M | 16.0% | Uv |
| 场景文字与 OCR | 0.437M | 4.5% | Uv |
| 视觉定位与空间理解 | 0.366M | 3.8% | Uv, S |
| 幻觉抑制与难负样本 | 0.324M | 3.3% | Uv |
| 关系与组合推理 | 0.236M | 2.4% | S |
| 纯文本 · 合计 3.957M | |||
| 文本理解与知识 | 3.957M | 100.0% | Ut |
| 合计 | |||
| 指令数据总量 | 13.700M | – | R, Uv, Ut, S |
怎么读:四类交互的汇总口径:2.8M 冗余、4.0M 视觉特有、4.2M 文本特有、2.7M 协同,合计 13.7M(论文 2.2 节与附录 6.2 一致,只是列举顺序不同)。另有 2.46M 文生图样本不计入这张表,官方主页与 3.1 节把它约写作 ≈2.5M / 2.5M。
三、数据是怎么清洗和归类的
- 预训练筛选:从 LLaVA-OneVision-1.5-Midtraining 选高质量图文对,用 Qwen3-VL-32B-Instruct 校验图文一致性,剔除弱对应或错配样本。
- SFT 多轮质控:VQ-VAE 把图像压成离散 token 时会丢细节,原本可答的样本可能变得不可答。因此先做规则过滤,再用 Qwen3-VL-32B-Instruct 验证「目标回答所需的视觉证据在 token 化后是否仍然存在」。
- 交互类型不逐条标注:在子任务层做。每个子数据集随机抽 100 条,结合任务启发式与模型辅助校验,判断两模态是否提供重叠证据、预测主要依赖哪一侧、还是必须两者合用,再按聚合结果给整个子任务归类。
- 图像生成数据单独处理:另收 2.46M 条文生图样本,不决定课程,而是大致均匀分布到三个阶段。
三阶段课程里四类数据全程都在,只调采样比例:先巩固跨模态对齐与语言能力,再强化视觉特有能力,最后推向更深的协同。论文的对照实验见 分析实验 里的 Table 8。
四、Stage-III 训练配置全参数
下面每一条都照录仓库 configs/training/gestalt_stage_3.yaml、scripts/training/gestalt_sft.sh 与 configs/deepspeed/zero_stage2.json。这些是仓库给出的默认值,不等于论文报告的最终超参。
序列与词表
| 参数 | 值 | 说明 |
|---|---|---|
| max_length | 8192 | 最大序列长度 |
| token_budget | 8192 | token 预算 |
| base_vocab_size | 126464 | 原语言词表大小 |
| vqvae_codebook_size | 16384 | 视觉码本大小(IBQ) |
| extended_vocab_size | 142848 | 扩展后词表 = 126464 + 16384 |
| inter_layer_state | interaction_token | 交互层状态类型 |
| inter_layer_num | 4 | Zone I 层数,与论文「前 4 层」一致 |
掩码与损失
| 参数 | 值 | 说明 |
|---|---|---|
| answer_mask_schedule | linear | 答案掩码调度;可选 cosine / linear / uniform |
| image_mask_schedule | linear | 图像掩码调度 |
| image_loss_weight | 0.1 | 图像损失权重 |
| loss_weight_mode | token | sample 按段归一;token 用 1/sqrt(L)/mask_ratio |
优化器与步数
| 参数 | 值 | 说明 |
|---|---|---|
| learning_rate | 1e-5 | 学习率 |
| lr_scheduler_type | constant | 常数调度 |
| warmup_steps | 200 | 预热步数 |
| adam_beta1 | 0.9 | AdamW β1 |
| adam_beta2 | 0.95 | AdamW β2 |
| adam_epsilon | 1.0e-8 | AdamW ε |
| weight_decay | 0.1 | 权重衰减 |
| max_steps | 40000 | Stage-III 最大训练步数 |
训练工程
| 参数 | 值 | 说明 |
|---|---|---|
| gradient_accumulation_steps | 4 | 梯度累积 |
| bf16 | true | BF16 混合精度 |
| gradient_checkpointing | true | 梯度检查点 |
| save_steps | 1000 | 保存间隔 |
| save_total_limit | 150 | 最多保留 checkpoint 数 |
| logging_steps | 10 | 日志间隔 |
| dataloader_num_workers | 0 | 数据加载进程 |
| remove_unused_columns | false | 保留未使用列 |
启动脚本默认值(scripts/training/gestalt_sft.sh)
| 参数 | 值 | 说明 |
|---|---|---|
| NNODES | 1 | 节点数 |
| NPROC_PER_NODE | 1 | 单节点进程数;单卡时不设置 |
| NODE_RANK / MASTER_ADDR / MASTER_PORT | 0 / 127.0.0.1 / 29500 | 分布式默认值 |
| OUTPUT_DIR | outputs/stage3 | 输出目录 |
| CONFIG | configs/training/gestalt_stage_3.yaml | 默认配置 |
| DEEPSPEED | configs/deepspeed/zero_stage2.json | 设 DEEPSPEED=none 可关闭 |
| Parquet 文件数 | ≥ 分布式进程数 | README 明确的硬约束 |
DeepSpeed(configs/deepspeed/zero_stage2.json)
| 参数 | 值 | 说明 |
|---|---|---|
| zero_optimization.stage | 2 | ZeRO-2 |
| allgather_bucket_size / reduce_bucket_size | 1e8 / 1e8 | 通信桶大小 |
| overlap_comm / reduce_scatter | true / true | 通信重叠与归约 |
| optimizer.type | AdamW | 优化器,参数由训练配置自动注入 |
| fp16 / bf16 | auto / auto | 精度由启动参数决定 |
| steps_per_print | 2000 | 日志打印间隔 |
五、统一掩码扩散目标
论文公式 (1):对多模态序列 x = [xv, xt] 随机掩码一组位置并重建 —— 掩码位置的 token 负对数似然求和取期望,条件为「序列中未被掩码的部分」。因为底层是双向注意力的掩码扩散语言模型,视觉与文本 token 可以互为条件,没有自回归那种固定生成方向。
- 联合掩码预测(预训练):视觉与文本各自独立掩码、联合重建,同时学模态内结构与双向跨模态依赖。
- 条件掩码预测(CPT 与 SFT):留一个模态可见、掩码另一个,是联合建模与下游条件生成之间的桥梁。
六、依赖与启动约束
requirements.txt(13 项)
| 包 | 版本 |
|---|---|
| torch | 2.10.0 |
| transformers | 5.2.0 |
| deepspeed | 0.18.5 |
| accelerate | 1.12.0 |
| safetensors | 0.7.0 |
| tokenizers | 0.22.2 |
| flash-attn | 未钉版本 |
| numpy | 1.26.4 |
| pyarrow | 23.0.0 |
| pyyaml | 6.0.3 |
| einops | 0.8.2 |
| pillow | 10.4.0 |
| tqdm | 4.67.3 |
flash-attn 未钉版本。torch 2.10.0 / transformers 5.2.0 / deepspeed 0.18.5 是官方清单里钉死的版本,环境不一致时先回到这份清单核对。
三条硬约束
- checkpoint 目录必须包含
tokenizer.json,训练直接从此读取分词器。 - Parquet 文件数不能少于分布式进程数;单机单卡时不设
NPROC_PER_NODE。 - 文生图推理默认空 system prompt,与训练模板一致;若训练数据用了固定非空系统提示词,推理要传
--system-prompt同一段文字。
完整的仓库文件树见 仓库结构,可直接复制的命令见 上手与资源。
来源:论文全文 v2(2.2 / 3.1 / 附录 6)、官方仓库 的 README、训练配置、启动脚本与 requirements.txt。数字照录,最后核对 2026-11-20。