盘古泰语大模型业务落地探索-张敏.pdf

1、盘古泰语大模型业务落地探索 华为2012文本机器翻译实验室/张敏提纲泰语大模型现状盘古大模型支持泰语的实现基于RAG的呼叫中心提效基于Agent的个性化营销活动泰语大模型现状泰语大模型现状2022年OpenAI ChatGPT的出现，率先展现出大模型的无限潜力，掀起了Decode-Only架构大模型的研究浪潮泰语大模型现状目前的大模型主要以英文、中文为主，对中低资源语种的支持较少目前支持泰语的大模型ChatGPT/GPT-4PolyLMWangChanGLMTyphoon泰语大模型现状中低资源语种大模型的训练范式：以Typhoon为例Base LLM：Mistral-7B扩词表：增加5K泰语t

2、okenCPT（Continue PreTraining）：50/50比率的泰英数据SFT（Supervised Fine-Tuning）泰语大模型现状泰语（低资源语种）大模型需求与发展的矛盾语言使用人口数量高 vs.语言数据占比低Llama 2：2万亿token语言分布语言人口数据泰语大模型现状泰语（低资源语种）大模型需求与发展的矛盾单语数据稀缺，训练资源昂贵对话数据稀缺，尤其是多轮对话人类偏好数据稀缺，RLHF训练繁琐如何直接将高资源语言知识迁移至低资源语言？盘古大模型支持泰语的实现盘古大模型支持泰语的实现再次思考CPT：只用泰语数据？英文+泰语的混合能不能借助英文的知识来回答泰语的问题？

3、英文知识会被遗忘，等同重训 借助英文知识来加速泰语的学习YES!YES!盘古大模型支持泰语的实现最朴素的实现方式机器翻译+高资源语种大模型Work Well问题：错误传递、文化风格、知识缺失等泰语Question泰英翻译英语大模型英泰翻译泰语Answer盘古大模型支持泰语的实现再次思考思维链把机器翻译做到LLM中，变成一种思维链（CoT）Step1：将泰语问题翻译为英文问题Step2：LLM给出英文回答Step3：将英文答案翻译为泰语答案盘古大模型支持泰语的实现基于思维链翻译（CoT-MT）的方式把机器翻译通过LLM来实现，作为思维链 利用LLM知识，翻译质量更好 非级联系统，缓解错误传递 实

4、现泰语英语知识更好的对齐盘古大模型支持泰语的实现CoT-MT的三阶段训练策略阶段1：扩展泰语词表，泰语数据CPT阶段2：英泰双向翻译训练Sent_TH Sent_EN，Sent_EN Sent_TH阶段3：翻译思维链SFTQuery_TH Query_EN Response_EN Response_THQuery_EN Response_EN 盘古大模型支持泰语的实现CoT-MT的训练方式 盘古13B基座模型 10B泰语数据 100W英泰平行数据 SFT数据：Alpaca数据+翻译 LoRA方式训练盘古大模型支持泰语的实现问题：林先生在暹罗商业银行存有问题：林先生在暹罗商业银行存有5 5万泰铢

5、，定期存款万泰铢，定期存款3 3年，林先生能赚多少利息？年，林先生能赚多少利息？SFT：存了3年，林将赚取11固定周的利息，成本为1利息。由于林有50,000泰铢，利息将是11利息，即11 x 11 x 5泰铢=575泰铢，利息 575 泰铢 x 3 年=1725 泰铢CoT-MT：50,000泰铢的3年期定期存款的利息是根据此时的当前利率计算的，当前的利率是标准的0.03正常，所以林的3年期固定利息将是50,000泰铢x 0.03正常x 3=4,500泰铢。但是，利率定期波动。因此，有必要现在就查看当前的利率，看看最准确的利率。问题：有的月份有问题：有的月份有3030天，有的月份有天，有的月

6、份有3131天，有多少个月有天，有多少个月有2828天？天？SFT：有 2 个月，共 28 天：二月。和十一月CoT-MT：闰年没有一个月有 28 天。常规日历格式一年有 365 天，常规日历格式闰年有 366 天。有 28 天的月份是二月。盘古大模型支持泰语的实现实验结果单轮对话能力多轮对话能力翻译能力安全性盘古大模型支持泰语的实现AlpacaEval：GPT-4打分（0-10），仅差于GPT-45个不同数据集上的单轮对话问题盘古大模型支持泰语的实现MT-Bench：GPT-4打分（0-10）多轮能力强于ChatGPT高质量多轮对话测试集：8大类别盘古大模型支持泰语的实现MT-Bench：人