⼤语⾔模型与⼈⼯智能的未来-金小刚.pdf

1、语模型与智能的未来解码语模型2022年1130，Chat GPT横空出世，在全球范围内成为讨论热点。根据Similarweb的数据，2023年1，平均每天约有1300万独访客使Chat GPT，累计户超1亿，创下了互联最快破亿应的记录，超过了之前TikTok9个破亿的速度。商业模式的胜利让Google的股价2天跌2000亿美。美国宾夕法尼亚学发现，Chat GPT能够通过该校商管理硕MBA课程的期末考试。Chat GPT还成功通过了歌的编程试，拿到了年薪18.3万美元的L3程师offer。围观Chat GPT，究竟在围观什么？训练技术 算力+系统数据数据Chat GPT2022.模型结构 Tr

2、ansformer（2017，attention）、GPT2（2019，Text in，Text out统一NLP任务）、GPT3（2020，大模型能力提升）Bert（2018，大模型预训练、FLAN（2022，指令微调，学会人类指令）、RLHF（2022，基于人类反馈，学习人类偏好）Chat GPT，LLM，是程化的成功GPT 系列：DALLE：图Sora：视频（将时拉到 60 秒）游戏科技，才是孕育LLM的摇篮。以硬件为代表的算，以游戏为代表的消费市场，以AI为代表的创新，三者实现了良性循环。在openAI发布的技术档中，更是直接使minecraft作为案例。2016年，openAI成之初

3、就选择了要素复杂的游戏DOTA2作为训练环境。2018年成功打造出openAI Five战胜DOTA2世界冠军战队。收购的第个公司是家游戏公司Global Illumination。拥抱AI普惠公众的时代语模型，是继数据库、搜索引擎之后的“全新代知识表示和调式”，将会极改善类与专业能之间的交互式。知识表示式调式研究领域代表应代表公司关系数据库SQL数据库DBMSOracleMicrosoft互联关键词信息检索搜索引擎GoogleMicrosoft模型然语然语理解LLM1.交互的重构低频、灵活、复杂的户需求（以前通过低代码实现）能通过和 LLM 交互来解决。户输也从有限变成限，且限灵活。2.数据

4、和信息重构们常说数据是油，LLM明显把炼油能增强了。3.服务的重构 种是AI有能直接提供服务。设计师、旅规划这类发散性服务能先被满，律师咨询（Donotpay）等需要推断、推理的服务后被满。此外还有情感陪伴和知识问答服务等；第种是 AI 能让消费决策到交易发的链路变短。4.反馈机制的重构以成模型为基座的产品，不仅能通过context learning的能让户多轮尝试，纠正输出结果，还能根据户产的数据和反馈迭代模型Accenture：AI伙伴：从知识到智识的新。智能体：AI互联的态系统。空间计算：发掘虚拟实感的价值。机互通：技术解码类意图。打败你的不是AI，是会AI的成式智能将影响各业四成的作时

5、间，提900种不同类型作的产出效率，并在全球范围内创造少万亿美元的经济价值。斯坦福学计算机科学家及未来研究所期负责Roy Amara：“阿玛拉定律”：We tend to overestimate the effect of a technology in the short run and underestimate the effect in the long run.我们总是估项科技所带来的短期效益，却低估它的期影响。反思智能的本质 ChatGPT，超越了当下的些对话机器，让家看到了的智能在然语理解领域（NLP）的曙光。疑Chat GPT具有划时代的意义，是智能研究继AlphaGo之后的

6、个程碑。Chat GPT为代表的语模型给公众展现了丰富的知识。学富五车Turing机的局限性LLM，其算法思想依然是连接主义，其标是拟合函数，但该模型属于箱模型，存在过拟合问题不可避免。全球的AI实验室都在疯狂地开展AI竞赛，开发和部署更强的AI，没有任何可以理解、预测、控制这些AI，连它们的创造者都不能。关注智能安全 语模型作为种具，其成的内容是件私密的事情，旦有将私密的内容公开发布，那么责任应当在于发布者。利成式智能产品提供聊天和本、图像、声成等服务的组织和个，承担该产品