《李杨_迈向3D世界模型:腾讯混元3D-DiT架构演进与自动化原生管线工程实践.pdf》由会员分享,可在线阅读,更多相关《李杨_迈向3D世界模型:腾讯混元3D-DiT架构演进与自动化原生管线工程实践.pdf(34页珍藏版)》请在三个皮匠报告上搜索。
1、腾讯混元3D生成腾讯混元3D背景:3D应用需求多、制作复杂,用3D AIGC技术重塑管线3D模型,也称为3D资产(3D Assets),用户可360全视角实时交互驱动3D,相关模块包含:几何白模:未添加纹理或颜色的3D模型,仅保留基本几何结构和线框纹理皮肤:3D模型表面的贴图,体现模型视觉效果模型布线:反映模型网格的拓扑结构,规整的布线便于模型编辑、渲染及驱动3D几何白模 带纹理皮肤的3D模型传统3D建模的痛点:3D建模门槛高:3D建模师需培训2年+3D制作周期长:单模型平均7天3D制作成本高:单模型成本百元万元+传统3D制作管线流程多,环节复杂,各环节前后依赖混元3D的作用:用AI大幅度降低
2、3D门槛,提升3D普及度和专业生产效率模型布线 应用场景 游戏开发工业设计社交娱乐(AR/VR、虚拟社交等)应用场景 3D应用场景广,是游戏开发、工业建模等业务刚需 传统3D建模流程复杂,业界无全链路的技术解决方案几何高模拓扑低模纹理皮肤动作驱动概念原型精细三维模型,高精原型验证基于文本、图片概念生成3D原型自回归简化面数自动绑骨蒙皮UGC动作生成语义UV、法向贴图、材质球生成3D管线模型3D世界模型混元3D目标:打造行业第一的生成模型+3D AI管线3D物体基座高质生成稀疏3D原生框架4k纹理材质生成高速生成FlashVDM加速轻量化模型可控生成多视图生3D原生可控模型3D场景漫游3D场景生
3、成:360全景,视点补全,物体布局3D场景编辑3D实时交互生成三维的底座专业美术设计AI重塑CG瞄准空间智能一键拆分、编辑组件拆分混元混元3D创作引擎创作引擎-业界首个一站式、低门槛业界首个一站式、低门槛3D AI创作引擎创作引擎混元混元3D创作引擎创作引擎体验平台:https:/ 3.0:生成效果生成效果较较2.5大幅提升,保持业界大幅提升,保持业界SOTA业界首创业界首创3D-DiT分级雕刻模型,分级雕刻模型,支持支持1536分辨率、分辨率、36亿体素的超高清建模亿体素的超高清建模 人物全面升级人物全面升级 遵循度大提升遵循度大提升 纹理更逼真、更贴合纹理更逼真、更贴合混元混元 Hunyu
4、an 3D 3.0混元混元3D-V2.0混元混元3D-V2.5混元混元3D-V3.03D建模空间体积建模空间体积5600 万万10亿亿36亿亿几何白模面数几何白模面数4万万50万万150万万纹理贴图分辨率纹理贴图分辨率2k4k4k开源Star超2.4万Hugging Face模型下载量超 300 万复杂细节还原度更高输入图输入图竞品竞品1竞品竞品2 混元混元3.0人物脸部细节更好端到端评测指标大幅领先几何质量 14/16 类目 第一第一 纹理质量 16/16 类目 第一第一 图3D一致性 13/16 类目 第一第一 效果对比混元混元3D升级升级3.0版本,效果刷新业界版本,效果刷新业界SOTA
5、混元混元3D 3.03.03.1:几何更精细,纹理更还原,支持更多参考视图可控生成:几何更精细,纹理更还原,支持更多参考视图可控生成混元混元3D 3.1混元混元3D 3.1-业界效果对比业界效果对比 输入图输入图片片混元混元3.1竞品竞品1竞品竞品2几何细节更好、还原度更高纹理更整洁、颜色更准确混元混元3D Studio-AI重塑重塑3D创作管线创作管线混元混元3D Studio体验平台:https:/ 混元混元3D AI游戏管线游戏管线环节:环节:6大环节,大环节,一键生成一键生成耗时:耗时:10min成本:成本:数元数元专业人工美术管线专业人工美术管线环节:环节:10大环节,数十个子项大环
6、节,数十个子项耗时:耗时:57天天成本:成本:数千元数千元传统3D研发3D AI游戏管线大幅提升游戏游戏管线大幅提升游戏3D资产生产效率资产生产效率混元3DAI管线均支持本地模型导入均支持本地模型导入组件拆分组件拆分1.5-精度对齐精度对齐3.1版本,组件拆分完整性更强版本,组件拆分完整性更强 一键自动拆件,满足各类局部编辑操作 几何精细、组件完整、拆分合理,效果全面领先业界组件拆分组件拆分组件编辑组件编辑-交互式笔刷调整,自定义拆件颗粒度交互式笔刷调整,自定义拆件颗粒度多种组件笔刷编辑模式,更高自由度,满足不同细分标准多种组件笔刷编辑模式,更高自由度,满足不同细分标准组件编辑组件编辑组件合并