Gestalt 非官方模型资料站标识 Gestalt非官方模型资料站 · GESTALTX.ORG

非官方 · 与论文作者、GeWu-Lab 及各所属机构无关联 · 数据以官方页面为准,最后核对 2026-11-20

术语与词典

读论文时会撞到的名词

这一页是查表用的:核心术语、20 个评测基准、14 组参评模型。术语解释由本站依据论文原文归纳,不是官方 glossary;基准与模型的分组照录论文与官方表格的口径。

一、核心术语(26 条)

术语含义
Multimodal Interplay / 多模态交互论文核心概念:信息可能只存在于单一模态、被多模态共享、或只在组合后才涌现,这三类关系合称交互。
Multimodal Interplay Pyramid / 多模态交互金字塔底层模态特有信息建模 → 中层跨模态冗余对齐 → 顶层多模态协同;同时约束架构、数据组织与训练顺序。
Modality-specific / 模态特有信息只有某一模态才知道的信息,如图像的颜色纹理、文本里的关系描述。
Redundancy / 冗余信息两种模态都提到的共有内容,用来建立跨模态对应关系。论文记作 R。
Synergy / 协同信息必须把互补线索合起来才能得到、任一单模态都给不出的结论。论文记作 S。
Uv / Ut论文记号:视觉特有信息(visual-unique)与文本特有信息(text-unique)。
Unified Discrete Diffusion / 统一离散扩散图像与文本共用离散 token 空间与同一个掩码预测目标,双向条件化,没有自回归的固定生成方向。
Masked Diffusion Objective论文公式 (1):对多模态序列随机掩码一组位置并重建对应 token,取负对数似然;双向条件化,无固定生成方向。
Joint Masked Prediction / 联合掩码预测预训练目标:视觉与文本 token 各自独立掩码、联合重建,学模态内结构与双向跨模态依赖。
Conditional Masked Prediction / 条件掩码预测CPT 与 SFT 目标:留一个模态可见,掩码并预测另一个,建立 vision↔text 双向条件依赖。
Interplay Token / 交互 token32 个可学习 token,作为视觉流与文本流的共享接口;Zone I 里中介交换,Zone II 里继续聚合任务相关信息。
Interplay Zone I / 瓶颈交互区前 4 层 Transformer;视觉与文本各走独立 FFN,跨模态直连注意力受限,只能经交互 token 交换。
Interplay Zone II / 全模态交互区Zone I 之后的其余层;全模态自注意力 + 共享 FFN,三类 token 直接互通。
Preserve-then-integrate论文对两个 Zone 合起来作用的概括:先保住模态特有表征,再做完全整合。
IBQ / Index Backpropagation Quantization图像 tokenizer,固定 VQ-VAE 编码器,码本 16,384 项;论文引用 ICCV 2025 的工作。
VQ-VAE token图像被压缩成的离散 ID。推理时 run_t2i.py 输出的就是它,不是图片文件。
MRoPE / interleaved MRoPE交错多维旋转位置编码,用来在共享序列里保留图像 token 的二维空间位置。
LLaDA-8B-Instruct基座模型:掩码扩散语言模型,双向注意力;Gestalt 从这里初始化。
CPT / Continual Pretraining持续预训练,8M 图文对,条件掩码预测。
SFT / Supervised Fine-Tuning指令微调,13.7M 四类交互样本 + 约 2.5M 文生图样本,三阶段课程。
Interplay-Oriented Curriculum三阶段课程:四类数据全程保留,只调采样比例,重心从冗余/文本 → 视觉特有 → 协同。
CKACentered Kernel Alignment,衡量两组表征结构的相似度,Table 4 用来衡量语言空间保留程度。
ZeRO-2DeepSpeed 的优化器状态与梯度分片策略,仓库默认配置。
ParquetStage-III 训练数据的文件格式,统一 schema 覆盖 i2t / t2i / i2i 三类任务。
MMUMultimodal Understanding,多模态理解;推理脚本 run_mmu.py 对应这一类任务。
T2I / I2T / I2I文生图 / 图生文 / 图生图,对应数据格式里的 task_type 三种取值。

二、评测基准词典(20 个)

基准类别 / 考察点说明
UniGenBench细粒度文生图属性、动作、空间关系、组合、逻辑推理等 11 个分项;官方表为 English Long 设置。
TIIF-Bench复杂指令遵循的文生图短 / 长两种提示,Overall、Basic、Advanced、Designer 四组指标。
MME-P多模态理解(感知)MME 的感知分项,分数为千量级;Table 3 中 BAGEL 1687.0 高于 Gestalt 1600.2。
GQA真实场景视觉推理与组合式问答Table 3 的通用 VQA 组。
MMStar-P多模态感知MMStar 的 Perception 分项;课程消融表也用它做细粒度感知指标。
POPE物体幻觉判断模型是否幻觉出不存在的物体。
RWQA / RealworldQA真实世界场景问答Table 3 的通用 VQA 组。
MMVP视觉中心感知专门暴露多模态大模型视觉短板的基准。
CV-Bench 2D / 3D视觉中心理解Table 3 里 Gestalt 78.9 / 86.1,均超过 BAGEL 的 77.7 / 84.2。
MMLU纯文本知识与推理5-shot。
TruthfulQA文本真实性与抗误导5-shot,报 MC2。
WinoGrande commonsense 指代消解5-shot。
HellaSwag常识续写0-shot。
ARC-E / ARC-C科学问答 Easy / Challenge0-shot;Gestalt 在这两项提升最大(+15.57 / +15.02)。
MIB-V / MIBench-Visual视觉特有信息能力Table 6 的视觉类指标;LLaDA-o 60.31 略高于 Gestalt 59.89。
CoreCog-SM基础感知运动认知CoreCognition 的 Sensorimotor 子集。
MM-IMDb跨模态协同电影多模态分类,需联合图文信息;Gestalt 67.07,领先幅度 +15.53。
SRBench空间关系推理协同类指标;Gestalt 53.17。
DOCCI表征可视化数据源不是评分基准;3.3 节用它取图文对做第 24 层表征可视化。
FGRS / FGRC遥感细粒度识别 / 关系推理附录 7.2 的领域迁移评测。

三、参评模型词典(14 组)

模型所属组别在论文里的角色
DALL-E-3 / SD-3.5-Large / OmniGen2生成专用UniGenBench 参照组。
PixArt-Sigma / FLUX.1 Pro / MidJourney V7 / SD 3.5 Large生成专用TIIF-Bench 参照组。
Emu3统一 · 自回归next-token prediction 路线;UniGenBench 50.95。
Show-o2统一 · 混合改进版原生统一模型;纯文本 MMLU 71.70,为 Table 5 全表最高。
Janus-Pro统一 · 自回归理解与生成统一;TIIF / 纯文本参照。
BAGEL统一 · 自回归Table 3 唯一的 AR 参照,MME-P 1687.0 为全表最高。
MMaDA统一 · 扩散多模态大扩散语言模型。
Lumina-DiMOO统一 · 扩散Table 1 统一组最高 71.81;Table 4 表征偏移最大。
LaViDA-o / LaViDa-O统一 · 扩散论文两处大小写不一致,本站照录原表写法。
LLaDA-o统一 · 扩散Table 6 的 MIB-V 60.31 略高于 Gestalt。
Omni-diffusion统一 · 扩散掩码离散扩散统一模型。
Qwen3.8-9B-Distill统一 · 自回归(对照)3.3 节表征可视化对照;因无官方 9B checkpoint,论文改用蒸馏版并给出脚注说明。
GeoChat / SkySenseGPT遥感专用附录 7.2 的领域参照;SkySenseGPT 用 1.415M 遥感样本。
Kimi K3 / Qwen 3.8 / LLaVA / Qwen2.5-VL引言提及用于说明「架构兼容 → 数据兼容」的演进,不在评测表里。

论文 Table 3 里「LaViDA-o」与 Table 6 里「LaViDa-O」大小写不一致,本站按原表照录,不代为统一。表内 † 记号含义见 评测数据 页开头说明。

四、作者与机构编号

编号机构
1中国人民大学高瓴人工智能学院(北京)
2大模型与智慧治理北京市重点实验室
3北京航空航天大学
4北京邮电大学
5上海人工智能实验室
6AresoX
作者机构编号分工(据 Author Contributions)
Zequn Yang1,2共同一作;项目整体推进;模型预训练与 SFT;架构与核心实验;论文写作
Yu Miao1,2共同一作;架构与核心实验;数据处理与组织;图像生成能力评测
Haotian Ni3共同一作;架构与核心实验;多模态理解评测
Ziheng Chen1,2共同一作;数据处理与组织;纯文本能力评测
Chengxiang Huang4共同一作;数据处理与组织
Dongzhan Zhou5技术设计与方法论讨论
Kai Chen5技术设计与方法论讨论
Qi Zhang5技术设计与方法论讨论
Ji-Rong Wen1,2技术设计与方法论讨论
Yake Wei1,2团队负责人;项目整体推进;论文写作与修订;监督指导
Di Hu1,2,6通讯作者、团队负责人;发起项目;论文写作与修订;监督指导

† 为共同一作(前五位),‡ 为团队负责人,✉ 为通讯作者 Di Hu;标 * 的作者部分工作在上海人工智能实验室实习期间完成。分工文字依据 README 与论文 Acknowledgments 段。

来源:论文全文 v2、官方项目主页、仓库 README。中文释义由本站撰写;最后核对 2026-11-20。