语音合成在字节跳动平台的应用探索-王玉平.pdf

1、语合成在字节跳动的应探索王平字节跳动语合成科学家个介绍高级技术专家阿里巴巴负责达摩院语音合成相关技术及业务建设阿里巴巴的语音合成系统从传统语音合成技术逐渐向深度学习演进负责车机、客服、天猫精灵等语音合成相关业务团队建立和招聘语音合成相关技术的建设及探索业务熟悉及支持语音合成方向总体规划引擎及服务开发基础技术积累声学模型声码器声音转换结合业务落地的思考多模态业务落地抖音、西瓜视频等2019年4月加入字节跳动AILab语合成综述字节跳动语合成系统介绍语合成与平台结合案例未来展望语合成综述语合成的历史起源阶段电合成器阶段单元挑选拼接合成阶段基于HMM的参数合成阶段基于深度学习的语合成语合成的相关模块

2、本前端声学模型声码器文本前端声学模型声码器文本语音本前端本前端本正则化现在是2021-11-11 现在是零年韵律预测本正则化后的模块#就是韵律预测了多字消歧我们【】来到了典【当】【】声学模型&声码器声学模型TacotronFastSpeech声码器Gan vocoderLpcNetWaveRnn语合成提升合成语的质量提升然度提升质提升合成语的表现结合上下降低合成语的数据量预训练模型+克隆字节跳动语合成系统介绍语合成本前端BERT+BLSTM+CRF声学模型Tacotron&FastSpeech声码器AR&Gan语合成具备业界领先的语音合成系统，可以生成自然、有表现力、个性化的语音克隆快速、全动

3、、低成本的定制案全动的数据预处理以及模型训练，需预基于质量的预训练声学模型质量的通声码器唱歌&说唱合成说唱（Rap Synthesis）唱歌（Singing Synthesis）声转换另外个的将同样的内容说/唱出来2分钟训练数据即可达到稳定效果，30分钟以上更佳声转换-唱歌另外个的将同样的内容说/唱出来2分钟训练数据即可达到稳定效果，30分钟以上更佳从说话数据中学会特征，从让说话唱歌语合成与平台结合的案例应：创作具落地场景：抖、视频等促进投稿：全新的表达和叙事具启发创意：多种配玩法丰富视频表达，优化户在添加本时的体验多个趣味可供选择应：娱乐化表达落地场景：抖、视频等户参与到乐相关的创作，让创作更有趣应：视频配落地场景：抖、视频等实现内容互通与内容创作平台深度结合，赋能内容创作和互动未来展望未来展望夯实基础技术声学模型&声码器前沿技术探索Speech PSSpontaneous TTS未来展望丰富、提升多语合成能，深业务定制解决案。攻克UGC视频配场景下的新技术挑战（情感化配、跨语合成等）。建设“声超市”：站式选择和产平台建设“声开放平台”：借助社区量，打造UGC声产和授权市场One more thing智能频-One more thing智能乐