友闻&全球软件开发大会：迈向元宇宙时代的三维建模技术（41页）.pdf

1、迈向元宇宙的三维建模技术友闻（贾荣） 阿巴巴淘系技术部背景介绍元宇宙应特点虚拟世界沉浸感反馈性创造性万物3D化，场景虚拟化，物动态化什么是三维模型物体在三维空间中的表示，能够持三维应三维表示形状纹理材质三维应布局渲染仿真设计元宇宙建模要求物体建模还原度应持成本便利性前的动建模技术多视图何建模图像相机位姿点云重建mesh重建纹理贴图材质贴图拍摄图点云Mesh模型拍摄环境相机位姿问题：1、拍摄环境 2、弱纹理 3、点云噪声 4、动材质前的动建模技术深度学习建模图像模型问题：1、多图对2、训练数据3、动材质DeepSDF重建效果点云体素MeshSDFNeRF神经渲染技术神经络表达形状、纹理、材质，端

2、到端训练优点：还原度，PSNR25缺点：渲染&训练慢，效果不稳定，持应少Object Drawer 业内个神经渲染建模产品 Object DrawerObject Drawer效果Object Drawer与传统建模对PhotogrammetryObject Drawer推理速度&模型对分辨率1920*1080推理速度（V100）推理速度（iPhone 12）存储NeRF0.02FPSN/A15MDONeRF5FPSN/A15MFastNeRF70FPSN/A 1GBPlenOctree50102FPSN/A0.31.9GObject Drawer?GPU (V100): 200FPS?机 (

3、iPhone 12): 30FPS?存储: 20M 10000倍推理速度提升训练时间分辨率1920*1080训练时间（V100）NeRF2 daysMip-NeRF2 daysObject Drawer4 hour10倍训练速度提升视鲁棒性对NeRF Object Drawer还原度对Object DrawerNeRF Mip-NeRFGT更多案例Object Drawer指标渲染分辨率：1920*1080建模时间：4时推理速度：单卡V100 200FPS 机30FPS重建质量：细节还原，PSNR约30模型：20M类：持鞋、包、办、积、瓷壶、帽、沙发、茶、柜拍摄要求：般场景，机拍摄，需特殊设备

4、持应：持三维场景搭建、展示，渲染2D/视频试接：12开放https:/tech.taobao.org/objectdrawerObject Drawer 建模解决案Object Drawer建模流程拍摄相机位姿前景分割神经渲染重建模型扭正Mesh提取推理速度问题光栅化渲染络剪枝视鲁棒性问题Training viewsTest views视鲁棒性解法视鲁棒性评测更多的效果对Object Drawer 应解决案神经渲染应问题三维场景Object Drawer模型渲染结果Object Drawer应流程场景搭建场景渲染神经渲染光照迁移Object Drawer 模型表示给隐式表达配对显式的粗糙mes

5、h光照迁移问题问题1：场景光与拍摄光不同问题2：物体对环境的光照影响问题3：环境对物体的光照影响物体对环境影响光照变化及环境对物体影响与其他法对更多的案例渲染对多个物体在场景内实际应效果总结与展望Object Drawer指标渲染分辨率：1920*1080建模时间：4时推理速度：单卡V100 200FPS 机30FPS重建质量：细节还原，PSNR约30模型：20M类：持鞋、包、办、积、瓷壶、帽、沙发、茶、柜拍摄要求：般场景，机拍摄，需特殊设备持应：持三维场景搭建、展示，渲染2D/视频建模流程对拍摄相机位姿前景分割神经渲染重建模型扭正mesh提取拍摄相机位姿点云重建mesh重建纹理贴图材质贴图渲染流程对场景搭建光照设定渲染出图场景搭建光照设定渲染出图神经渲染光照融合Object Drawer的未来1、模型可编辑2、模型可变形元宇宙建模的未来：万物3D化建模数量100倍以上建模时间10分钟随时随地可建模各种应可持建模像拍照样简单