Gestalt 非官方模型资料站标识 Gestalt非官方模型资料站 · GESTALTX.ORG

非官方 · 与论文作者、GeWu-Lab 及各所属机构无关联 · 数据以官方页面为准,最后核对 2026-11-20

非官方 · 中文资料站 · gestaltx.org

Gestalt:把「交互」写进架构里的大型多模态模型

Gestalt 是中国人民大学高瓴人工智能学院等机构提出的统一多模态模型。它没有把力气花在「再接一种模态」上,而是追问:图像和文本各自独有的信息、共有的信息、以及只有合起来才出现的信息,能不能被同一个模型分别对待?答案是统一离散扩散框架 + 可学习的交互 token + 前后两个能力不同的 Transformer 区段。

本站是第三方中文整理,与论文作者、GeWu-Lab 及各所属机构无关联。所有数字都标了出处与核对时间;查不到的,就写查不到。

arXiv:2610.00576LLaDA-8B-Instruct统一离散扩散32 个交互 token图像生成 / 理解 / 文本
先排除一个同名坑:「Gestalt」现在至少指四个不同对象。本站讲的是有论文、有代码、有权重的那个开源大模型;中文圈这两天热议的匿名设计模型、以及格式塔心理学,都不是这个模型的本体。看同名辨析 →

它到底想解决什么

论文开头给了一个判断:多模态模型已经从「架构兼容」(给语言模型接一个视觉编码器)走到「数据兼容」(把多种模态混在一起预训练),但这条路正在碰到瓶颈 —— 把模态凑齐,不等于处理好了模态之间的关系。论文用一句 "more is different" 概括:多出来的不是数据,是新的信息关系。

于是有了「多模态交互金字塔」:底层保住只有单一模态才知道的信息,中层对齐两种模态都提到的冗余信息,顶层把互补线索合起来,推导出任何单一模态都给不出的结论。这个金字塔不只是比喻,它同时决定了架构、数据组织和训练顺序。

多模态协同 跨模态冗余对齐 模态特有信息建模 由下而上:保住各自的信息 → 对齐共有的信息 → 生成谁都单独给不了的信息

本站依据论文「多模态交互金字塔」概念自绘,非官方原图。三色沿用官方既有色(蓝=视觉、紫=语言、粉=协同),图形为本站自建的三角形母题。论文里的例子:文字说「大狗戴红项圈、小狗戴蓝项圈」,图像给出项圈颜色,两者合起来才能认出哪只是小狗。

四个入口,按需看

深度内容另有 数据与训练 · 分析实验 · 论文精读 · 仓库结构 · 术语与词典 · 常见问题。全部页面与覆盖对照见 内容全集索引。

模型档案

全称Gestalt: Large Multimodal Interplay Model(大型多模态交互模型)
主要机构中国人民大学高瓴人工智能学院、大模型与智慧治理北京市重点实验室、北京航空航天大学、北京邮电大学、上海人工智能实验室、AresoX
基座LLaDA-8B-Instruct
框架统一离散扩散(unified discrete diffusion)
图像表示IBQ,视觉码本 16,384 项,并入语言词表;交错 MRoPE 保留二维空间位置
交互 token32 个,可学习
Zone I前 4 层 Transformer;其余层为 Zone II
训练数据70M 图文对预训练 + 8M 条件持续预训练 + 13.7M 指令微调(另含约 2.5M 文生图样本)
论文arXiv:2610.00576(v1 2026-09-30,v2 2026-10-08,17 页 7 图)
发布时间2026-09-30 放出权重与训练/推理代码(据官方 README 的 News)
许可证README 声明 Apache 2.0,但同句后留有 TODO: confirm license,且仓库根目录未见 LICENSE 文件 —— 使用前请以官方仓库为准

以上逐条来自论文全文、官方项目主页与仓库 README,最后核对 2026-11-20。许可证一栏请特别留意:官方自己留了待确认标记。

已核实的 / 还没核实的

这是本站的固定形态:左栏只放能追到一手来源的结论,右栏放官方没给或本机没核实的事,不把两者混成一段话。

✓ 已核实

  • 基座为 LLaDA-8B-Instruct,图像经 IBQ 编为离散 token,视觉码本 16,384 项并入语言词表
  • 使用 32 个可学习交互 token;前 4 层 Transformer 为 Interplay Zone I,其余为 Zone II
  • 训练三阶段:70M 图文对联合掩码预测、8M 条件持续预训练、13.7M 指令微调(另含约 2.5M 文生图样本),全阶段全参数可训练
  • 论文 v1 2026-09-30、v2 2026-10-08,17 页 7 图,arXiv 页面标注 CC BY 4.0
  • 五组评测数字均来自官方项目页表格,本站未复现

? 待核实 / 官方未给

  • 许可证:README 写 Apache 2.0,但留有 TODO 待确认注释,仓库根目录无 LICENSE 文件
  • SFT 数据:官方 README 写 SFT data coming soon,尚未放出
  • 模型权重与在线 Demo:官方页与 README 均给出链接,本机网络未能访问 Hugging Face,未核对当前可访问性与下载量
  • 论文没有给出参数量、interplay token 之外的层数分配细节与训练算力,本站不推测
  • 官方项目页与 README 未标注最新维护状态;仓库最后推送为 2026-10-10

几个关键数字

73.30UniGenBench 总分,官方表中参评模型最高
74.57TIIF-Bench 短指令 Overall;长指令为 78.86
1600.2MME-P 多模态理解分数
32可学习交互 token 数量
78M前两阶段图文对(70M + 8M)
13.7M指令微调样本,另含约 2.5M 文生图样本

这些是论文与官方项目页公布的评测结果,不是本站复现;读法与边界见 评测数据。

时间线

  • 代码仓库建立:GeWu-Lab/Gestalt 创建。
  • 权重与代码放出:官方 README 的 News 记载放出模型权重与训练、推理代码;论文 v1 同日提交 arXiv。
  • 论文发布公告:README 的 News 记载 arXiv 论文上线。
  • 论文 v2:修订版提交,17 页、7 图,arXiv 页标注 CC BY 4.0。
  • 本站建站核对:逐条核对上述一手来源,形成本页与全站快照。

本页数据来自 官方项目主页、arXiv:2610.00576、论文全文 与 代码仓库。整理与中文表述由本站完成,非官方发布;最后核对 2026-11-20。