王沛雨_从视频生成到世界模型：多模态生成技术的演进与实践.pdf

1、VIDEO WORLD MODEL从视频生成到世界模型MMDiT、扩散强制、因果蒸馏、可交互世界 一条路径的技术全景Skywork AI SkyReels&Matrix-Game Team|2026CONTENTSCONTENTS目录Part 01.Part 01.视频生成的技术底座DiT MMDiT Flow Matching 3D VAE Diffusion ForcingPart 02.Part 02.SkyReels V1 V4：质量线演进扩散强制 多模态 in-context Dual-stream MMDiT 音视频联合Part 03.Part 03.Matrix-Game 1.0

2、 3.0：交互世界图像到世界 17B DiT 实时蒸馏 长时记忆 40 FPS/720pPart 04.Part 04.开放问题与合流判断三大开放问题 两线合流 统一生成式世界模型PART I0101视频生成的技术底座U-Net DiT MMDiT -prediction v-prediction rectified flow0 1 /F O U N D A T I O N S /D i T架构跃迁架构跃迁 1：从：从 U-Net 到到 Diffusion TransformerPeebles&Xie 2023 的那个看似微小但决定性的改动：把 backbone 整个换成 Transforme

3、rU-Net 时代时代Stable Diffusion 1/2 ADM 主干：卷积 U-Net+skip 条件：text 仅通过 cross-attention 注入 归一化：GroupNorm 缩放律：1.5B 达瓶颈 瓶颈：感受野受限、难以长距离建模DiT 2023DiT 时代时代SD3 Sora Wan FLUX 主干：pure Transformer on latent patches 条件：adaLN-Zero+timestep 调制 归一化：LayerNorm 缩放律：无饱和迹象，实测至 8B+优势：全局注意力、可无缝接入 MLLM 条件C o r e I n s i g h t替

4、换的不是层，是替换的不是层，是 scaling 的形状。的形状。DiT 把扩散过程放进了已被验证 20 次的 Transformer 缩放体系里。从此做更大的视觉模型与做更大的语言模型变成同一件事同一套并行、同一套优化器、同一套 kernel。S K Y W O R K From Video Generation to World ModelsPART I FOUNDATIONS 04/250 2 /F O U N D A T I O N S /M M D i T架构跃迁架构跃迁 2：MMDiT 双流权重、联合注意力双流权重、联合注意力SD3 提出，SkyReels V4 沿用 文本和视觉各有

5、一套权重，在 attention 处合流MMDiT Block one layerText tokens (T5/MLLM)adaLN-Zero +Q_t K_t V_t projectionsVisual tokens (3D-VAE latents)adaLN-Zero +Q_v K_v V_v projectionsJoint Self-Attention concat(Q_t,Q_v,K_t,K_v,V_t,V_v)softmax(QK/d)V 文本与视觉 token 在同一 attention matrix 里对话MLP_t (text weights)MLP_v (visual w

6、eights)N blocks final output layer predict v (or )Attention matrix decomposition (Shin et al.2025):TT TVVTVVTV 最强 用于 localize 概念到像素VV 经典 self-attn 保几何VT 弱 row-wise softmax 稀释为什么这一步是为什么这一步是 text-to-video 的分水岭的分水岭双权重双权重文本与视觉有各自的投影+MLP 两种模态的特征分布差异大，共享权重会互相污染联合注意力联合注意力但在 attention 处合流 允许信息双向流动（TV），解决 U-