7-3 NiuTrans 多国语机器翻译系统.pdf

1、NiuTrans多国语机器翻译系统杜权 小牛翻译 CTO|01背景介绍02多语言机器翻译构建方法03高性能机器翻译构建方法04模型压缩技术实践目录 CONTENT|01背景介绍机器翻译的发展历程|SMT vs NMT|统计机器翻译神经机器翻译训练时间训练数据推断时间CPU/GPU利用磁盘空间MoreMoreMoreMoreMoreLessLessLessLessLess其他特点翻译过程可以理解翻译过程不可解释译文忠于原文可能出现跑飞翻译复杂句子译文质量差译文流畅，可读性好机制以句子为单位以词、短语为单位注意力机制，编码-解码，网络优化统计分析，概率论机器翻译应用：文本翻译|u应用形式应用形式n

2、办公软件插件：Office/WPS.n文档翻译：word/ppt/excel/PDF.nCAT插件：memoQ/Trados/Tmxmall.n网页翻译插件：Google Chrome.机器翻译应用：文本翻译|辅助翻译人员辅助翻译人员嵌入其他应用嵌入其他应用新闻实事社交媒体游戏娱乐商务活动商务活动论文翻译会议材料翻译国际商务交流专利信息翻译辅助译员翻译辅助小语种翻译教育培训提供参考翻译机器翻译应用：多模态|视频字幕同传u处理对象处理对象：语音/图像数据u应用场景应用场景：n商务：国际会议、商务谈判.n教育：外语学习、课堂辅助交流.n娱乐：影视字幕、社交视频.n旅游：商场购物、餐馆点餐.n客服：

3、语音实时交流.会议实时翻译系统国际课堂交流旅游出行 机器翻译应用：多领域模型|通用基础大数据基础核心技术领域适应调优技术垂直领域小数据通用通用模型模型垂直垂直领域领域模型模型国际工程国际工程装备制造装备制造电力能源电力能源运输物流运输物流 航空航天航空航天金融证券金融证券新闻媒体新闻媒体文学出海文学出海在线客服在线客服出国旅游出国旅游跨境贸易跨境贸易社交平台社交平台5机器翻译应用：多种应用产品|模型庞大（2G/3G.）翻译效果最好需大量计算资源运行能耗高模型小巧（100M/50M.）翻译效果略逊一筹所需计算资源少，部署灵活运行能耗低适用芯片适用芯片模型大小模型大小应用产品应用产品全量模型压缩模

4、型各种小型智能设备各种小型智能设备各种各种CPU/NPU两大两大GPU各种云服务各种云服务|02多语言机器翻译构建方法动态课程学习|u静态课程学习n只需要计算一次难度u存在的问题n简单的难度准则无法准确衡量样本的难度n训练过程是动态的d4d3d2d1d1d2d1d4d3d2d1d3d2d1训练数据第1轮第2轮第3轮第4轮Dynamic Curriculum Learning for Low-Resource Neural Machine Translation.COLING2020.动态课程学习Dynamic Curriculum Learning for Low-Resource Neura

5、l Machine Translation.COLING2020.u动态课程学习n每个阶段基于当前模型重新衡量样本难度训练数据第1轮第2轮第3轮第4轮划分难度d4d3d2d1d4d3d2d1d1d2d1d3d2d1d4d3d2d1d4d3d2d1d4d3d2d1|动态课程学习样本难度|u样本难度n损失下降速度(;,1)=(;)=1(;1)(;)(;1)2n联合当前阶段和上一阶段综合衡量n样本的预测损失下降越快，模型越容易在未来将它学得更好n预测损失没有下降空间的样本不会被重复学习Dynamic Curriculum Learning for Low-Resource Neural Machin

6、e Translation.COLING2020.动态课程学习模型能力|u模型能力n基于校验集BLEU值的动态模型能力计算()=min(1,BLEUBLEU(1 0)+0)n0:初始的模型能力n:第t轮模型在校验集的BLEUn:标准NMT模型在校验集上的最佳性能n:控制课程进度的系数，越小则进度越快Dynamic Curriculum Learning for Low-Resource Neural Machine Translation.COLING2020.动态课程学习实验结果|u动态课程学习方法的收敛速度更快u富资源数据集收敛更快，但随着训练步数增多差距减小u困难样本的训练次数少，但更加