全站搜索结果
上手与资源
从下载权重到跑一次推理
以下命令逐条摘自官方仓库 README,本站只补了中文说明。执行前请先到仓库确认最新版本;本站不托管代码、权重,也不提供模型调用服务。
1 · 准备环境
git clone https://github.com/GeWu-Lab/Gestalt.git
cd Gestalt
pip install -r requirements.txt
说明:把仓库取到本地,进入目录,安装依赖清单里的包。
2 · 下载模型权重
huggingface-cli download GeWu-Lab/Gestalt --local-dir /path/to/checkpoint
说明:把 /path/to/checkpoint 换成你自己机器上的实际目录。官方要求该目录里包含 tokenizer.json,训练时会直接从这里读分词器。
3 · 推理:看懂一张图
python scripts/inference/run_mmu.py \
--model /path/to/checkpoint \
--image-tokens image_tokens.npy \
--question "What is in this image?" \
--token-h 32 --token-w 32
说明:输入是图像 token 加一个问题,输出是文字答案。token-h 与 token-w 指图像被切成的 token 网格高宽。
4 · 推理:按文字生成图
python scripts/inference/run_t2i.py \
--model /path/to/checkpoint \
--prompt "A cat sitting on a windowsill" \
--output output_tokens.npy \
--lat-h 32 --lat-w 32
说明:输出的是 VQ-VAE 离散 token,不是图片文件本身。README 特别提示:文生图默认使用空的 system prompt,与训练模板一致;如果你的训练数据用了固定的非空系统提示词,推理时要用 --system-prompt 传同一段文字。
5 · 训练(第三阶段指令微调)
DATA_DIR=/path/to/parquet \
PRETRAINED=/path/to/checkpoint \
NPROC_PER_NODE=8 \
scripts/training/gestalt_sft.sh
说明:训练数据是一批 Parquet 文件,统一涵盖图生文/多模态理解、文生图、图生图三类任务。默认配置为 configs/training/gestalt_stage_3.yaml,采用 DeepSpeed ZeRO-2(设 DEEPSPEED=none 可关闭)。单机单卡时不设 NPROC_PER_NODE;多卡时 Parquet 文件数不能少于分布式进程数。
6 · 数据格式
官方 README 用一张表说明训练文件里每行需要哪些字段。下表按原表整理,「—」表示该任务用不到:
| 字段 | 图生文 / 理解 | 文生图 | 图生图 |
|---|---|---|---|
| task_type | i2t | t2i | i2i |
| metadata_json | 字符串 | 字符串 | 字符串 |
| conversations | 字符串 / 轮次列表 | — | — |
| img_tokens | VQ-VAE 原始 ID | — | — |
| system_prompt | 可选 | 字符串 | 字符串 |
| user_prompt | — | 字符串 | 字符串 |
| input_image_tokens | — | — | VQ-VAE 原始 ID |
| answer_image_tokens | — | VQ-VAE 原始 ID | VQ-VAE 原始 ID |
字段名照录官方 README,改动会导致训练脚本读不到数据。SFT 数据官方标注「coming soon」,截至 2026-11-20 尚未放出。
7 · 引用格式
官方 README 给出的引用条目:
@article{gestalt2026,
title = {Gestalt: Large Multimodal Interplay Model},
author = {Yang, Zequn and Miao, Yu and Ni, Haotian and Chen, Ziheng and
Huang, Chengxiang and Zhou, Dongzhan and Chen, Kai and Zhang, Qi and
Wen, Ji-Rong and Wei, Yake and Hu, Di},
year = {2026},
url = {https://github.com/GeWu-Lab/Gestalt}
}
TODO: confirm license 的待确认标记,仓库根目录也没有 LICENSE 文件,GitHub API 的 license 字段为空。本站把它记作「待核实」,不作为授权结论。商用或二次分发前请以官方仓库当前状态为准。相关页面
本页命令与字段逐条摘自 官方仓库 README,中文说明由本站补写;最后核对 2026-11-20。