复旦大学：2023大规模语言模型中语言与知识（47页）.pdf

1、ML-Summit 2023大规模语言模型中语言与知识张奇复旦大学ML-Summit 2023 全球机器学习技术大会ML-Summit 2023目录Multilingual BERT 中存在多语言对齐现象1大语言模型中多语言对齐2大语言模型中的语言和知识分离3ML-Summit 202301Multilingual BERT 中存在多语言对齐现象ML-Summit 2023MULTILINGUAL BERT 中存在多语言对齐现象Xu et al.Cross-Linguistic Syntactic Difference in Multilingual BERT:How Good is It a

2、nd How Does It Affect Transfer?EMNLP2022mBERT 不同层恢复各类语言语法关系的准确性。ML-Summit 2023MULTILINGUAL BERT 中存在多语言对齐现象Xu et al.Cross-Linguistic Syntactic Difference in Multilingual BERT:How Good is It and How Does It Affect Transfer?EMNLP2022mBERT 第 7 层的不同语法关系表示的可视化。ML-Summit 2023MULTILINGUAL BERT 中存在多语言对齐现象Xu

3、et al.Cross-Linguistic Syntactic Difference in Multilingual BERT:How Good is It and How Does It Affect Transfer?EMNLP2022mBERT 第 7 层的不同语法关系表示的可视化在进行任务Fine-Tune之后，聚合对齐更加明显ML-Summit 2023在大语言模型中有类似现象吗？ML-Summit 202302大语言模型中多语言对齐ML-Summit 2023大语言模型中也存在类似现象Xu et al.Are Structural Concepts Universal in Tr

4、ansformer Language Models?Towards Interpretable Cross-Lingual Generalization,EMNLP 2023语言直接在句法关系上具有很强的对齐性ML-Summit 2023大语言模型中也存在类似现象Xu et al.Are Structural Concepts Universal in Transformer Language Models?Towards Interpretable Cross-Lingual Generalization,EMNLP 2023词性标注任务，可以通过跨语言训练得到非常高的结果ML-Summit

5、 2023通过多语言模型预训练，多语言语义在模型中已经完成对齐ML-Summit 2023大规模语言模型中多语言对齐Zhao et al.LLaMA Beyond English:An Empirical Study on Language Capability Transfer.AAAI 2024 submittedML-Summit 2023大规模语言模型中多语言对齐Zhao et al.LLaMA Beyond English:An Empirical Study on Language Capability Transfer.AAAI 2024 submitted比较如下模型：LLaM

6、A(Touvron et al.2023a)LLaMA2(Touvron et al.2023b)Chinese LLaMA(Cui,Yang,and Yao 2023b)基于LLaMA，扩展中文词元，30B中文Token语料二次训练（120GB）Chinese LLaMA2(Cui,Yang,and Yao 2023a)基于LLaMA2，扩展中文词元，30B中文Token语料二次训练Open Chinese LLaMA(OpenLMLab 2023)基于LLaMA，扩展中文词元，100B中英混合Token语料二次训练LLaMA+10K、LLaMA+100K、LLaMA+1M基于LLamA不扩