动效 AI 生成探索实践-遥清_慎思.pdf

1、1Galacean 互动技术的 AI 探索遥清 付宝体验技术部 慎思 消费融体验技术部营销活动底层平台告轻游戏更多动画？辅助？提效？大语言模型？创造？形态？竞品？学习？互动技术+AI 能擦出怎样的花？4对于 AI 的探索自然语言生成式 AI动画生成图像生成/编辑视频 A-roll/B-roll 生成（Sora、Runway、Pika）我们自然语言、生成式 AI深度结合、创造提效合适形态、融入工作流拒绝内卷、善用三方几何、纹理、材质生成骨骼绑定智能助AI Assistant使 AI 提升设计体验辅助答疑通过然语快速获得问题的解答快捷功能通过 AI 语义化调具的能（如：发布、导出、打开 PSD 等

2、）辅助答疑户提问LLM向量化数据库Embedding分割、分块、建索引私有化数据检索提问+检索块RAG回答没有RAG回答直接提问使然语快速唤起功能智能成智能蒙版智能蒙版快速将一张图片中的特征生成形状数据智能蒙版图1.稠密点图2.稀疏点图3.拟合后的曲线1.图像分割2.边缘检测和提取（OpenCV）13.稠密点稀疏化（Douglas-Peuker 算法）24.曲线拟合（Least Square）35.成蒙版数据智能动效动画制作然语的动画成 左右晃动|然语的动画成 左右晃动|提取动词LLM特征向量训练分类器曲线数据LLM召回AI 微动效AI 微动效使用 AI 生成“深度信息图”GLSL特效元素Fa

3、ke3D 材质资产WebGPU 加速存在的问题深度图边缘膨胀处理WebGPU Compute Shader 加速图像处理解决方案20+倍性能提升图舞灵让图分钟学会跳舞关键技术细节技术亮点：基于LDM的通用动画框架，提出增强运动表现 Pose Indicator1.(IPI)隐式利用CLIP提取运动要点2.(EPI)显式通过提前模拟推断可能出现的输入生产流程：1.固定间隔采样（可配）输入视频2.AI 分析帧合理生成 Pose Data3.采样至输出视频帧数即采样完成4.ImageRef+Pose Data 合成输出视频Animate-X:Universal Character Image Ani

4、mation with Enhanced Motion RepresentationShuai TanBiao GongXiang WangShiwei ZhangDandan ZhengRuobing ZhengKecheng ZhengJingdong ChenMing YangAnt Group|Tongyi Labhttps:/ 2025效果展示接下来AI动效 Fake3D3D 资产More-AIGC 3DAI 改变 3D 作流设计原画格场景/道具设计特效设计关卡设计动画 K 帧模型制作纹理/材质骼绑定建模软件Galacean 编辑器HDR 天空盒灯光编辑粒/后处理特效脚本编写动画编排

5、导模型材质修改骼重定向设计师建模师开发AI 生成模型AI 辅助 AI 对 3D 工作流的改变Galacean 编辑器+AIAI 生成材质AI 蒙皮AI 生成动画AI 生成3D 环境AI 生成特效AI 生成代码Powered By AIGC!图片（jpg）AI 生成模型3D模型（glTF）算法生成 6个视角的2D图（Multi-view Diffusion Model）网格(Mesh)材质纹理3D 网格重建关键步骤-AI 生成网格AI 脑补生成不同视角的图片（视觉扩散模型）图片特征集特征提取Step*NMeshTransformerStep*N降噪Transformer网格关键步骤-AI 生成模

6、型纹理/材质图片网格完整模型法线信息位置信息根据曲率、密度等信息展 UV亮度通道解构高频信息获取物理参数映射粗糙度转换金属度判定局部对比度法线粗糙金属度基础颜色生成管线输入还不错的生成效果Bad case 流程演示Agent 搭建More-AI 生成大型场景蚂蚁 A 空间3DGS(三维高斯抛雪球算法)互动技术+AI 架构规划通用 Agent决策模型服务调用Galacean 数据训练微调RAG辅助工具多模态输联搜索语识别地理信息大模型动画语3D 资产图/视频应用3D 环境构建3