全站搜索结果
非官方 · 中文资料站 · gestaltx.org
Gestalt:把「交互」写进架构里的大型多模态模型
Gestalt 是中国人民大学高瓴人工智能学院等机构提出的统一多模态模型。它没有把力气花在「再接一种模态」上,而是追问:图像和文本各自独有的信息、共有的信息、以及只有合起来才出现的信息,能不能被同一个模型分别对待?答案是统一离散扩散框架 + 可学习的交互 token + 前后两个能力不同的 Transformer 区段。
本站是第三方中文整理,与论文作者、GeWu-Lab 及各所属机构无关联。所有数字都标了出处与核对时间;查不到的,就写查不到。
它到底想解决什么
论文开头给了一个判断:多模态模型已经从「架构兼容」(给语言模型接一个视觉编码器)走到「数据兼容」(把多种模态混在一起预训练),但这条路正在碰到瓶颈 —— 把模态凑齐,不等于处理好了模态之间的关系。论文用一句 "more is different" 概括:多出来的不是数据,是新的信息关系。
于是有了「多模态交互金字塔」:底层保住只有单一模态才知道的信息,中层对齐两种模态都提到的冗余信息,顶层把互补线索合起来,推导出任何单一模态都给不出的结论。这个金字塔不只是比喻,它同时决定了架构、数据组织和训练顺序。
本站依据论文「多模态交互金字塔」概念自绘,非官方原图。三色沿用官方既有色(蓝=视觉、紫=语言、粉=协同),图形为本站自建的三角形母题。论文里的例子:文字说「大狗戴红项圈、小狗戴蓝项圈」,图像给出项圈颜色,两者合起来才能认出哪只是小狗。
四个入口,按需看
模型概览
全称、机构、作者、时间线、名字来源,以及四个官方一手入口。
方法与架构
金字塔三层、Zone I / Zone II、交互 token、离散扩散与三阶段课程。
评测数据
五组官方评测表全量中文整理,附「怎么读这些数字」。
上手与资源
环境、权重、推理、训练、数据格式、引用与许可证提示。
深度内容另有 数据与训练 · 分析实验 · 论文精读 · 仓库结构 · 术语与词典 · 常见问题。全部页面与覆盖对照见 内容全集索引。
模型档案
| 全称 | Gestalt: Large Multimodal Interplay Model(大型多模态交互模型) |
|---|---|
| 主要机构 | 中国人民大学高瓴人工智能学院、大模型与智慧治理北京市重点实验室、北京航空航天大学、北京邮电大学、上海人工智能实验室、AresoX |
| 基座 | LLaDA-8B-Instruct |
| 框架 | 统一离散扩散(unified discrete diffusion) |
| 图像表示 | IBQ,视觉码本 16,384 项,并入语言词表;交错 MRoPE 保留二维空间位置 |
| 交互 token | 32 个,可学习 |
| Zone I | 前 4 层 Transformer;其余层为 Zone II |
| 训练数据 | 70M 图文对预训练 + 8M 条件持续预训练 + 13.7M 指令微调(另含约 2.5M 文生图样本) |
| 论文 | arXiv:2610.00576(v1 2026-09-30,v2 2026-10-08,17 页 7 图) |
| 发布时间 | 2026-09-30 放出权重与训练/推理代码(据官方 README 的 News) |
| 许可证 | README 声明 Apache 2.0,但同句后留有 TODO: confirm license,且仓库根目录未见 LICENSE 文件 —— 使用前请以官方仓库为准 |
以上逐条来自论文全文、官方项目主页与仓库 README,最后核对 2026-11-20。许可证一栏请特别留意:官方自己留了待确认标记。
已核实的 / 还没核实的
这是本站的固定形态:左栏只放能追到一手来源的结论,右栏放官方没给或本机没核实的事,不把两者混成一段话。
✓ 已核实
- 基座为 LLaDA-8B-Instruct,图像经 IBQ 编为离散 token,视觉码本 16,384 项并入语言词表
- 使用 32 个可学习交互 token;前 4 层 Transformer 为 Interplay Zone I,其余为 Zone II
- 训练三阶段:70M 图文对联合掩码预测、8M 条件持续预训练、13.7M 指令微调(另含约 2.5M 文生图样本),全阶段全参数可训练
- 论文 v1 2026-09-30、v2 2026-10-08,17 页 7 图,arXiv 页面标注 CC BY 4.0
- 五组评测数字均来自官方项目页表格,本站未复现
? 待核实 / 官方未给
- 许可证:README 写 Apache 2.0,但留有 TODO 待确认注释,仓库根目录无 LICENSE 文件
- SFT 数据:官方 README 写 SFT data coming soon,尚未放出
- 模型权重与在线 Demo:官方页与 README 均给出链接,本机网络未能访问 Hugging Face,未核对当前可访问性与下载量
- 论文没有给出参数量、interplay token 之外的层数分配细节与训练算力,本站不推测
- 官方项目页与 README 未标注最新维护状态;仓库最后推送为 2026-10-10
几个关键数字
这些是论文与官方项目页公布的评测结果,不是本站复现;读法与边界见 评测数据。
时间线
- 代码仓库建立:GeWu-Lab/Gestalt 创建。
- 权重与代码放出:官方 README 的 News 记载放出模型权重与训练、推理代码;论文 v1 同日提交 arXiv。
- 论文发布公告:README 的 News 记载 arXiv 论文上线。
- 论文 v2:修订版提交,17 页、7 图,arXiv 页标注 CC BY 4.0。
- 本站建站核对:逐条核对上述一手来源,形成本页与全站快照。
本页数据来自 官方项目主页、arXiv:2610.00576、论文全文 与 代码仓库。整理与中文表述由本站完成,非官方发布;最后核对 2026-11-20。