全站搜索结果
术语与词典
读论文时会撞到的名词
这一页是查表用的:核心术语、20 个评测基准、14 组参评模型。术语解释由本站依据论文原文归纳,不是官方 glossary;基准与模型的分组照录论文与官方表格的口径。
一、核心术语(26 条)
| 术语 | 含义 |
|---|---|
| Multimodal Interplay / 多模态交互 | 论文核心概念:信息可能只存在于单一模态、被多模态共享、或只在组合后才涌现,这三类关系合称交互。 |
| Multimodal Interplay Pyramid / 多模态交互金字塔 | 底层模态特有信息建模 → 中层跨模态冗余对齐 → 顶层多模态协同;同时约束架构、数据组织与训练顺序。 |
| Modality-specific / 模态特有信息 | 只有某一模态才知道的信息,如图像的颜色纹理、文本里的关系描述。 |
| Redundancy / 冗余信息 | 两种模态都提到的共有内容,用来建立跨模态对应关系。论文记作 R。 |
| Synergy / 协同信息 | 必须把互补线索合起来才能得到、任一单模态都给不出的结论。论文记作 S。 |
| Uv / Ut | 论文记号:视觉特有信息(visual-unique)与文本特有信息(text-unique)。 |
| Unified Discrete Diffusion / 统一离散扩散 | 图像与文本共用离散 token 空间与同一个掩码预测目标,双向条件化,没有自回归的固定生成方向。 |
| Masked Diffusion Objective | 论文公式 (1):对多模态序列随机掩码一组位置并重建对应 token,取负对数似然;双向条件化,无固定生成方向。 |
| Joint Masked Prediction / 联合掩码预测 | 预训练目标:视觉与文本 token 各自独立掩码、联合重建,学模态内结构与双向跨模态依赖。 |
| Conditional Masked Prediction / 条件掩码预测 | CPT 与 SFT 目标:留一个模态可见,掩码并预测另一个,建立 vision↔text 双向条件依赖。 |
| Interplay Token / 交互 token | 32 个可学习 token,作为视觉流与文本流的共享接口;Zone I 里中介交换,Zone II 里继续聚合任务相关信息。 |
| Interplay Zone I / 瓶颈交互区 | 前 4 层 Transformer;视觉与文本各走独立 FFN,跨模态直连注意力受限,只能经交互 token 交换。 |
| Interplay Zone II / 全模态交互区 | Zone I 之后的其余层;全模态自注意力 + 共享 FFN,三类 token 直接互通。 |
| Preserve-then-integrate | 论文对两个 Zone 合起来作用的概括:先保住模态特有表征,再做完全整合。 |
| IBQ / Index Backpropagation Quantization | 图像 tokenizer,固定 VQ-VAE 编码器,码本 16,384 项;论文引用 ICCV 2025 的工作。 |
| VQ-VAE token | 图像被压缩成的离散 ID。推理时 run_t2i.py 输出的就是它,不是图片文件。 |
| MRoPE / interleaved MRoPE | 交错多维旋转位置编码,用来在共享序列里保留图像 token 的二维空间位置。 |
| LLaDA-8B-Instruct | 基座模型:掩码扩散语言模型,双向注意力;Gestalt 从这里初始化。 |
| CPT / Continual Pretraining | 持续预训练,8M 图文对,条件掩码预测。 |
| SFT / Supervised Fine-Tuning | 指令微调,13.7M 四类交互样本 + 约 2.5M 文生图样本,三阶段课程。 |
| Interplay-Oriented Curriculum | 三阶段课程:四类数据全程保留,只调采样比例,重心从冗余/文本 → 视觉特有 → 协同。 |
| CKA | Centered Kernel Alignment,衡量两组表征结构的相似度,Table 4 用来衡量语言空间保留程度。 |
| ZeRO-2 | DeepSpeed 的优化器状态与梯度分片策略,仓库默认配置。 |
| Parquet | Stage-III 训练数据的文件格式,统一 schema 覆盖 i2t / t2i / i2i 三类任务。 |
| MMU | Multimodal Understanding,多模态理解;推理脚本 run_mmu.py 对应这一类任务。 |
| T2I / I2T / I2I | 文生图 / 图生文 / 图生图,对应数据格式里的 task_type 三种取值。 |
二、评测基准词典(20 个)
| 基准 | 类别 / 考察点 | 说明 |
|---|---|---|
| UniGenBench | 细粒度文生图 | 属性、动作、空间关系、组合、逻辑推理等 11 个分项;官方表为 English Long 设置。 |
| TIIF-Bench | 复杂指令遵循的文生图 | 短 / 长两种提示,Overall、Basic、Advanced、Designer 四组指标。 |
| MME-P | 多模态理解(感知) | MME 的感知分项,分数为千量级;Table 3 中 BAGEL 1687.0 高于 Gestalt 1600.2。 |
| GQA | 真实场景视觉推理与组合式问答 | Table 3 的通用 VQA 组。 |
| MMStar-P | 多模态感知 | MMStar 的 Perception 分项;课程消融表也用它做细粒度感知指标。 |
| POPE | 物体幻觉 | 判断模型是否幻觉出不存在的物体。 |
| RWQA / RealworldQA | 真实世界场景问答 | Table 3 的通用 VQA 组。 |
| MMVP | 视觉中心感知 | 专门暴露多模态大模型视觉短板的基准。 |
| CV-Bench 2D / 3D | 视觉中心理解 | Table 3 里 Gestalt 78.9 / 86.1,均超过 BAGEL 的 77.7 / 84.2。 |
| MMLU | 纯文本知识与推理 | 5-shot。 |
| TruthfulQA | 文本真实性与抗误导 | 5-shot,报 MC2。 |
| WinoGrande | commonsense 指代消解 | 5-shot。 |
| HellaSwag | 常识续写 | 0-shot。 |
| ARC-E / ARC-C | 科学问答 Easy / Challenge | 0-shot;Gestalt 在这两项提升最大(+15.57 / +15.02)。 |
| MIB-V / MIBench-Visual | 视觉特有信息能力 | Table 6 的视觉类指标;LLaDA-o 60.31 略高于 Gestalt 59.89。 |
| CoreCog-SM | 基础感知运动认知 | CoreCognition 的 Sensorimotor 子集。 |
| MM-IMDb | 跨模态协同 | 电影多模态分类,需联合图文信息;Gestalt 67.07,领先幅度 +15.53。 |
| SRBench | 空间关系推理 | 协同类指标;Gestalt 53.17。 |
| DOCCI | 表征可视化数据源 | 不是评分基准;3.3 节用它取图文对做第 24 层表征可视化。 |
| FGRS / FGRC | 遥感细粒度识别 / 关系推理 | 附录 7.2 的领域迁移评测。 |
三、参评模型词典(14 组)
| 模型 | 所属组别 | 在论文里的角色 |
|---|---|---|
| DALL-E-3 / SD-3.5-Large / OmniGen2 | 生成专用 | UniGenBench 参照组。 |
| PixArt-Sigma / FLUX.1 Pro / MidJourney V7 / SD 3.5 Large | 生成专用 | TIIF-Bench 参照组。 |
| Emu3 | 统一 · 自回归 | next-token prediction 路线;UniGenBench 50.95。 |
| Show-o2 | 统一 · 混合 | 改进版原生统一模型;纯文本 MMLU 71.70,为 Table 5 全表最高。 |
| Janus-Pro | 统一 · 自回归 | 理解与生成统一;TIIF / 纯文本参照。 |
| BAGEL | 统一 · 自回归 | Table 3 唯一的 AR 参照,MME-P 1687.0 为全表最高。 |
| MMaDA | 统一 · 扩散 | 多模态大扩散语言模型。 |
| Lumina-DiMOO | 统一 · 扩散 | Table 1 统一组最高 71.81;Table 4 表征偏移最大。 |
| LaViDA-o / LaViDa-O | 统一 · 扩散 | 论文两处大小写不一致,本站照录原表写法。 |
| LLaDA-o | 统一 · 扩散 | Table 6 的 MIB-V 60.31 略高于 Gestalt。 |
| Omni-diffusion | 统一 · 扩散 | 掩码离散扩散统一模型。 |
| Qwen3.8-9B-Distill | 统一 · 自回归(对照) | 3.3 节表征可视化对照;因无官方 9B checkpoint,论文改用蒸馏版并给出脚注说明。 |
| GeoChat / SkySenseGPT | 遥感专用 | 附录 7.2 的领域参照;SkySenseGPT 用 1.415M 遥感样本。 |
| Kimi K3 / Qwen 3.8 / LLaVA / Qwen2.5-VL | 引言提及 | 用于说明「架构兼容 → 数据兼容」的演进,不在评测表里。 |
论文 Table 3 里「LaViDA-o」与 Table 6 里「LaViDa-O」大小写不一致,本站按原表照录,不代为统一。表内 † 记号含义见 评测数据 页开头说明。
四、作者与机构编号
| 编号 | 机构 |
|---|---|
| 1 | 中国人民大学高瓴人工智能学院(北京) |
| 2 | 大模型与智慧治理北京市重点实验室 |
| 3 | 北京航空航天大学 |
| 4 | 北京邮电大学 |
| 5 | 上海人工智能实验室 |
| 6 | AresoX |
| 作者 | 机构编号 | 分工(据 Author Contributions) |
|---|---|---|
| Zequn Yang | 1,2 | 共同一作;项目整体推进;模型预训练与 SFT;架构与核心实验;论文写作 |
| Yu Miao | 1,2 | 共同一作;架构与核心实验;数据处理与组织;图像生成能力评测 |
| Haotian Ni | 3 | 共同一作;架构与核心实验;多模态理解评测 |
| Ziheng Chen | 1,2 | 共同一作;数据处理与组织;纯文本能力评测 |
| Chengxiang Huang | 4 | 共同一作;数据处理与组织 |
| Dongzhan Zhou | 5 | 技术设计与方法论讨论 |
| Kai Chen | 5 | 技术设计与方法论讨论 |
| Qi Zhang | 5 | 技术设计与方法论讨论 |
| Ji-Rong Wen | 1,2 | 技术设计与方法论讨论 |
| Yake Wei | 1,2 | 团队负责人;项目整体推进;论文写作与修订;监督指导 |
| Di Hu | 1,2,6 | 通讯作者、团队负责人;发起项目;论文写作与修订;监督指导 |
† 为共同一作(前五位),‡ 为团队负责人,✉ 为通讯作者 Di Hu;标 * 的作者部分工作在上海人工智能实验室实习期间完成。分工文字依据 README 与论文 Acknowledgments 段。