AI 在短视频创作与理解上的应用-王仲远.pdf

1、AIAI在短视频创作与理解上的应用在短视频创作与理解上的应用王仲远快手技术副总裁，MMU&Y-tech负责人2021.11.25快手快手-国民短视频及直播社区国民短视频及直播社区流量内容粘性3.23.2亿亿国内日活用户5.75.7亿亿国内月活用户1.81.8亿亿+海外月活用户数百数百亿量级亿量级短视频库存100min+100min+日均使用时长140140亿亿+对人互相关注1010次次日均访问次数70%70%私域渗透率快手快手-拥抱每一种生活拥抱每一种生活跑车美景才艺表演探店古风非遗国粹搞笑吐槽家乡好货美食教程极限运动绘画艺术舞蹈山河美景可爱萌宠AIAI技术在快手的应用技术在快手的应用内容生产

2、：内容生产：在APP中提供炫酷的视觉特效、魔法表情、一键出片、自动字幕等AI工具和玩法，依赖AR引擎、人脸&手势识别、语音转译、智能创作等自助研发技术。内容理解：内容理解：基于对社区中视频、图像、音乐、语言语义、主播和创作者的理解，充分结构化解释快手的内容生态，实现了社区海量内容的分类管理、原创保护、安全审核、助力分发等诸多应用。内容分发：内容分发：推荐是用户与视频的双向匹配，将百亿视频特征和亿万用户特征输入推荐系统，实现精准、个性化的推荐。内容生产内容分发内容理解AIAI在内容生产中的应用在内容生产中的应用基础能力基础能力美颜美体自动字幕自动配音高级玩法高级玩法智能变声魔法表情AR/MR智能

3、创作智能创作智能编辑虚拟人MetaverseMetaverse一个离不开美颜的时代一个离不开美颜的时代不管是拍照、拍视频还是直播，美颜如今已是大家依赖的基础能力。智能创作智能创作高级玩法高级玩法基础能力基础能力人像美化技术现状人像美化技术现状磨皮 美白各项细调美型瘦脸滤镜美妆滤波器组合，LUT组合特征点+变形算法设计师设计LUT设计师设计素材现有美化流程和技术现有美化流程和技术如何达到用户想要美化效果如何达到用户想要美化效果8优化现有技术优化现有技术优势：迭代快，性能可控劣势：效果上限不高，自适应能力差vsvs优化引入新变量-AIAI能力能力优势：复杂高级效果，自适应劣势：研发周期长，端上运行

4、慢智能创作智能创作高级玩法高级玩法基础能力基础能力人像美化：人像美化：AIAI美颜技术美颜技术AIAI人像人像画质增强画质增强修复对焦不准、低端机成像差等等导致的人像画质问题AIAI一键美颜一键美颜一键式磨皮，提升面部立体感肤色自然过渡AIAI头发生长头发生长双眼皮生成双眼皮生成自然将单眼皮变为双眼皮任意短发变成长发模样传统美颜传统美颜AI美颜美颜传统增强传统增强AI增强增强智能创作智能创作高级玩法高级玩法基础能力基础能力人像美化：一键人像美化：一键AIAI美颜完整技术方案美颜完整技术方案原始人脸美颜后人脸高频皮肤纹理高频皮肤纹理低频皮肤颜色卷积网络reorg代表H,WH/2,W/2H/4,W

5、/4网络结构每个block结构重采样卷积每个重采样卷积结构conv3x3conv3x3conv1x3conv3x1conv1x1AvgPoolconv1x1Sobelconv1x1Gaussianconv1x1Laplacian参数融合conv3x3训练时推理时代表我们在网络设计上使用了encoder-decoder的结构，网络中每个block都使用了先降维度再升维的重采样卷积结构来降低计算量，每个重采样卷积我们创新性的加入了sobel，gaussian等传统图像处理算子在更进一步提升训练时网络容量的情况下不增加推理时的性能开销。智能创作智能创作高级玩法高级玩法基础能力基础能力AIAI在在人脸

6、属性变换中的应用人脸属性变换中的应用人脸属性编辑：人脸属性编辑：对含有人脸的图像，进行人脸属性变化，可返回各种处理效果，效果真实自然。原图变少年变老变性别变胖DemoDemo体验体验输入图像/视频年龄性别五官表情胡须头发源图像编码器隐空间操控：StyleClip/Interfacegan域迁移：CycleGAN/StarGAN目标图像生成器数据质量增强属性挖掘属性控制数据融合美颜美化超分辨率属性类别AIAI在在人脸属性变换中的应用人脸属性变换中的应用人脸属性编辑：人脸属性编辑：人脸属性编辑项目主要包含属性的类别判断，属性的编辑操控及一些数据质量增强方法，通过串联这些技术点，最终实现从输入图像到