产业应用论坛-大模型时代的机器翻译-科大讯飞.pdf

1、大模型时代的机器翻译科大讯飞研究院 高建清2024年11月规则翻译统计翻译机器翻译发展历程 1980s1993年2013年受限场景基本可用系统批量生产神经络网翻译2022年接近人类翻译水平大规模可用大模型翻译机器翻译面临的四大核心问题如何解决语言的歧义性和不确定性？01如何生成流畅、自然和地道的译文？02如何解决基于语言背后的文化翻译而非字面直译？03如何解决多轮交互和篇章翻译的一致性和连贯性？04语言理解语言生成语言转换上下文建模大模型为机器翻译带来全新机遇语言：是人类认知革命的成果，是智慧的载体和表现大模型是什么？深度神经网络大模型对输入刺激的反应Transformer模型主结构1750亿

2、个浮点数共96 block*4隐层*12288节点回看8192Token用户输入的文本刺激大模型的回应输出文本生成语言理解知识问答逻辑推理数学能力代码能力本质上，就是一个深度神经网络大模型（如ChatGPT 3.5由1750亿个浮点数参数表示），接受文本的输入刺激，生成文本回应，“表现”出智慧。用一个统一的深度神经网络，来实现理解、记忆、推理、计算、文本生成等用几乎整个互联网的文本数据来完成这个大深度神经网络的训练！GPT 3.5的一次训练成本大约是1200万美元，GPT-4的成本约6300万美元！讯飞星火大模型持续升级的关键里程碑2023年6月9日突破开放式问答多轮对话能力再升级数学能力再升

3、级V1.52023年5月6日首次发布七大核心能力发布大模型评测体系发布V1.02023年8月15日突破代码能力多模态交互再升级V2.02023年10月24日通用模型对标 GPT-3.5（中文超越，英文相当）V3.02024年1月30日多项能力大幅提升接近GPT-4 Turbo当前水平V3.52024年4月26日春季上新首发OCR大模型长文本能力全新升级V3.52024年6月27日全面对标GPT-4 Turbo语音、图文识别能力再升级V4.02024年10月24日全面超越GPT-4 Turbo数学能力、代码能力超过GPT-4o4.0 Turbo讯飞星火4.0 Turbo全新升级，达到GPT-4

4、Turbo水平83.6%84.0%84.0%70.4%77.4%79.9%80.8%86.4%85.2%78.5%73.8%73.7%78.9%83.2%79.8%80.0%75.3%67.4%68.8%75.5%80.5%文本生成语言理解知识问答逻辑推理数学能力代码能力多模态能力星火4.0 TurboGPT-4oGPT-4 Turbo数据来源：根据通用认知智能大模型测评体系构建测试集CogNKLab-Eval-2.1（202410滚动测试数据集）大模型翻译效果显著提升3.203.403.603.804.004.204.40对话翻译多义词翻译行业翻译新词翻译平均中英方向翻译传统NMT星火1.5

5、星火2.1GPT4.03.503.603.703.803.904.004.104.204.304.40对话翻译多义词翻译行业翻译新词翻译平均英中方向翻译传统NMT星火1.5星火2.1GPT4.0大模型语言理解，对机器翻译的促进The principal said that there were other things on the school uniform except the school emblem,and he asked you to do something else.The principal said not to put anything else on the uni

6、forms except for the school emblem,but you guys insist on adding other stuff.传统机器翻译大模型翻译校长说校服上除了校徽别别别的，让你们别别别的别别别的你非别别的。这句话是什么意思这句话是一种带有重复用词和模仿儿童或青少年反叛口吻的表达方式，其中包含了一些语言游戏和幽默。具体来说，这句话可以这样解释：-“校长说校服上除了校徽别别的”：这里的意思是校长要求学生们在校服上只佩戴校徽，不要添加任何其他的饰物或标志。-“让你们别别别的别别别的”：这里的“别别别的”是校长让学生们不要在校服上别其他的东西，连续使用“别”字来强调这