营销领域 AIGC 前沿进展与挑战-卫海天 .pdf

1、营销领域前沿进AIGC展与挑战卫海天ILArchSummitInfoQ极客传媒#page#InfoQ极客传媒精彩继续！更多一线大厂前沿技术案例北京站8广州站8深圳站QConQConArchSummit全球软件开发大会全球软件开发大会时间：2023年5月26-27日时间：2023年7月21-22日时间：2023年9月3-5日地址：北京富力万丽酒店地点：广州粤海喜来登酒店地点：深圳博林天瑞喜来登酒店扫码查看大会扫码查看大会扫码查看大会详情详情详情#page#AIGC发展趋势LLM多模态大模型+插件ArchSummitInfoQ极客传媒#page#LLM技术发展ChatGPT所能实现的人类意图，来自

2、于机器学习、神经网络以及Transformer模型的多种技术模型积累。Transformer建模方法成熟以后，使用一套统一的工具来开发各种模态的基础模型这种理念得以成熟，随后GPT-1、GPT-2、GPT-3模型持续演化升级，最终孵化出ChatGPT文本对话应用。人工智能需要巨大的算力和数据投入，未来将形成大科技场提供基础AI能力，中小场围绕不同场景做应用的生态竞争格局。开始模仿人根据一定范对人脑学习进行海量数据学习训练，人类的反馈信息成基于模板和ChatGPT脑进行大量过程进行重规则的前深国的数据进为模型学习的内容数据的标记行参数分类点关注度学习阶段2019年2018年2020年|2022年

3、和训练InstrucGPT-2GPT-3GPT-1tGPT神经网络CNNM2m-基于规则TransfoT5BARTBigBirdMachine100的少量数Learning-rmerRNN据处理BERTXLMALBERTRoBERTaGAN1990年开始；1950年开始1980年开始ELECTRA2017年2006年获得突破！ArchSummnitInfoQ极客传媒#page#LLM技术发展Transformer的模型架构出现使得模型性能大幅提升，chatgpt在transformer结构的基础上送代升级成为引爆全球的AIGC模型。OutputStp1SH8P2St8p3Collectdemo

4、nstrationdata，Collectcomparison dataOptimizeapolicyagainstthe reward model usingsedpolicyreinforcementlearningApromptisApromptandAnewpromptC6sampled from ouseweralmodelis5amplodfrompromptdataset.outputs arethedataset.sampled.ThepolcyAlabelergeneratesdemonstratestheanoutputdesiredoutputbehavorAlabale

5、r rankstheoutputs frombesttoworst.This datals used000:0Therewardmodetofine-tuneGPT3calculatesawith suporvisogreward foreaningThisdata isusedPositonPositionatheoutput.210自白身UpOSUto train ourEnoodinreward model.TherewardisCutpuused toupdate0:0:0.0thepolicyusingPPOInputsOutputs（siedgArchSummitInfoQ极客传媒

6、#page#LLM技术发展研究人员发现模型扩展可以提高性能，他们进一步通过增加模型大小来研究扩展效果。有趣的是，当参数规模超过一定水平时，这些放大的语言模型不仅实现了显著的性能改进，而且还展现了一些小规模语言模型（例如BERT）所没有的特殊能力（例如上下文学习）PromptingFine-tuningFine-tuningPromptingPhasechange100B0.1B1B10B10B0.1B1B100BScaling Law(2020-2021）Emergent Ability（from early 2022）ArchSumnitInfoQ极客传媒#page#LLM技术发展为了区分参