Gestalt 非官方模型资料站标识 Gestalt非官方模型资料站 · GESTALTX.ORG

非官方 · 与论文作者、GeWu-Lab 及各所属机构无关联 · 数据以官方页面为准,最后核对 2026-11-20

上手与资源

从下载权重到跑一次推理

以下命令逐条摘自官方仓库 README,本站只补了中文说明。执行前请先到仓库确认最新版本;本站不托管代码、权重,也不提供模型调用服务。

1 · 准备环境

git clone https://github.com/GeWu-Lab/Gestalt.git
cd Gestalt
pip install -r requirements.txt

说明:把仓库取到本地,进入目录,安装依赖清单里的包。

2 · 下载模型权重

huggingface-cli download GeWu-Lab/Gestalt --local-dir /path/to/checkpoint

说明:把 /path/to/checkpoint 换成你自己机器上的实际目录。官方要求该目录里包含 tokenizer.json,训练时会直接从这里读分词器。

3 · 推理:看懂一张图

python scripts/inference/run_mmu.py \
  --model /path/to/checkpoint \
  --image-tokens image_tokens.npy \
  --question "What is in this image?" \
  --token-h 32 --token-w 32

说明:输入是图像 token 加一个问题,输出是文字答案。token-h 与 token-w 指图像被切成的 token 网格高宽。

4 · 推理:按文字生成图

python scripts/inference/run_t2i.py \
  --model /path/to/checkpoint \
  --prompt "A cat sitting on a windowsill" \
  --output output_tokens.npy \
  --lat-h 32 --lat-w 32

说明:输出的是 VQ-VAE 离散 token,不是图片文件本身。README 特别提示:文生图默认使用空的 system prompt,与训练模板一致;如果你的训练数据用了固定的非空系统提示词,推理时要用 --system-prompt 传同一段文字。

5 · 训练(第三阶段指令微调)

DATA_DIR=/path/to/parquet \
PRETRAINED=/path/to/checkpoint \
NPROC_PER_NODE=8 \
scripts/training/gestalt_sft.sh

说明:训练数据是一批 Parquet 文件,统一涵盖图生文/多模态理解、文生图、图生图三类任务。默认配置为 configs/training/gestalt_stage_3.yaml,采用 DeepSpeed ZeRO-2(设 DEEPSPEED=none 可关闭)。单机单卡时不设 NPROC_PER_NODE;多卡时 Parquet 文件数不能少于分布式进程数。

6 · 数据格式

官方 README 用一张表说明训练文件里每行需要哪些字段。下表按原表整理,「—」表示该任务用不到:

字段图生文 / 理解文生图图生图
task_typei2tt2ii2i
metadata_json字符串字符串字符串
conversations字符串 / 轮次列表——
img_tokensVQ-VAE 原始 ID——
system_prompt可选字符串字符串
user_prompt—字符串字符串
input_image_tokens——VQ-VAE 原始 ID
answer_image_tokens—VQ-VAE 原始 IDVQ-VAE 原始 ID

字段名照录官方 README,改动会导致训练脚本读不到数据。SFT 数据官方标注「coming soon」,截至 2026-11-20 尚未放出。

7 · 引用格式

官方 README 给出的引用条目:

@article{gestalt2026,
  title   = {Gestalt: Large Multimodal Interplay Model},
  author  = {Yang, Zequn and Miao, Yu and Ni, Haotian and Chen, Ziheng and
             Huang, Chengxiang and Zhou, Dongzhan and Chen, Kai and Zhang, Qi and
             Wen, Ji-Rong and Wei, Yake and Hu, Di},
  year    = {2026},
  url     = {https://github.com/GeWu-Lab/Gestalt}
}
许可证请自己再确认一次:README 写「This project is released under the Apache 2.0 license」,但同一句后面留着 TODO: confirm license 的待确认标记,仓库根目录也没有 LICENSE 文件,GitHub API 的 license 字段为空。本站把它记作「待核实」,不作为授权结论。商用或二次分发前请以官方仓库当前状态为准。

相关页面

本页命令与字段逐条摘自 官方仓库 README,中文说明由本站补写;最后核对 2026-11-20。