Research Triangle AI：大语言模型入门（25页）.pdf

1、大语言模型入门Getting Started with Large Language ModelsA Beginners Guide and Live DemoPresented by Yi LiResearch Triangle AI2024-09-21议程概述 Agenda引言与自我介绍 Introduction理解大语言模型 Understanding LLM实际应用 Practical Applications演示：在Google Colab上部署Llama 3.1Demo:Deploying Llama 3.1 on Google Colab伦理考量与LLM的未来 Ethical C

2、onsiderations and Future of LLMs总结与问答 Summary and Q&A啥是大语言模型 What is Large Language Model(LLM)大语言模型（Large Language Model，LLM）通过大量文本数据训练的一种人工智能模型专门用于理解、生成和处理自然语言训练数据LLM输入中国的首都是？输出中国的首都是北京如何理解大语言模型 大规模大量参数的AI模型大量文本数据训练Common Crawl网络爬虫公开数据集WebText2 Reddit论坛网页文本Books1,Books2互联网书籍语料库Wikipedia 维基百科知识库GPT4

3、(not official)1.8T parameters 120 layers 13T tokens如何理解大语言模型大规模大量参数的AI模型大量文本数据训练 语言基于自然语言处理(Nature Language Processing/NLP)能够理解、生成和处理人类语言如何理解大语言模型大规模大量参数的AI模型大量文本数据训练语言基于自然语言处理(Nature Language Processing/NLP)能够理解、生成和处理人类语言 模型模拟语言规则和模式的数学框架训练的模型可以预测语言中的下一个词或者句子LLM的简史与演变早期发展早期的NLP主要依赖于规则系统和基本的统计模型神经网络

4、的引入极大地改变了NLP领域LLM的崛起：Attention is all you need(2017)2022年11月30日 ChatGPT发布常见的大语言模型OpenAI ChatGPT/o1Google GeminiMeta LlamaAnthropic ClaudeMistral Mistral/Mixtral百度 文心一言阿里云 通义千问华为 盘古腾讯 混元科大讯飞 星火零一万物 Yi 大模型是如何炼成的 How LLM is TrainedStep 1:Pre-training(unsupervised)Base LLM 文字接龙机Step 2:Supervised Fine-tu

5、ning(SFT)Instruct LLM 初级客服Step 3:Reinforcement Learning from Human Feedback(RLHF)Chat LLM 专业顾问大语言模型如何工作中国的首都是LLM北京TokenizationEmbeddingAttentionFeed ForwardOutput文字转成 token理解 语义/位置考虑 上(下)文综合思考输出Transformer反复思考RAG/PAL/ReAct借助外部数据/工具中国的首都是人要是行，干一行，行一行。一行行，行行行；要是不行，干一行，不行一行。一行不行，行行不行。大语言模型和AI/ChatGPT的关

6、系LLM 是基础技术 ChatGPT是LLM技术的一种应用实现实际应用 Practical Applications内容生成 Content Generation知识库问答 Knowledge Base Answering文本分类 Text Classification情感分析 Sentiment Analysis搜索 Search计算机安全 Cybersecurity为什么要部署自己的大语言模型数据隐私和安全 Data Privacy and Security无需依赖互联网连接 Independence from Internet Connectivi