Sunny-张辉大模型落地面向企业级客户服务场景的实践.pdf

1、大模型落地面向企业级客户服务场景的实践Sunny Zhang 浪潮信息演讲嘉宾Sunny Zhang 浪潮信息 大模型高级产品经理 博士研究生，浪潮信息人工智能与高性能应用软件部高级产品经理，源大模型产品负责人。长期从事高性能计算和人工智能计算的创新与产品化工作；参与国家级自然科学基金3项，省部级科技进步奖6项；发表国内外SCI、EI期刊及会议论文10余篇。目 录CONTENTS1.大模型已落地ToC客户服务2.ToB客户服务的特点和痛点3.大模型落地ToB客户服务的解决思路4.源1.0落地ToB客户服务的技术实践大模型落地ToC客户服务PART 01智能客服是企业最希望AIGC落地的场景人工

2、坐席数量庞大，工作强度大，企业成本高。根据CC-CMM行业标准的统计,2022年呼叫中心总座席数约为135万。人工坐席每天接听电话几十个到几百个，一通电话成本可能高达几十元。企业急需要降本增效，智能客服市场规模大。企业沙利文2023年中国智能客服市场报告指出，2022中国智能客服市场规模达到66.8亿元，预计到2027年市场规模有望增长至181.3亿元。目前智能客服机器人水平有限，客户体验差，转人工量不减反增。根据CC-CMM对近200家企业的调查显示，实施智能语音之后，有超过三分之一的企业热线，转人工量不减反增，对人工座席反而造成更大的话务压力。上海市消保委2022年投诉情况通报人民网-人民

3、日报（2023年05月23日）传统智能客服被诟病的地方成本高天花板低起点是人工建知识库“有多少人工，就有多少智能”“那么多人工，还是没多少智能”本质上是搜索匹配任务知识库.知识谱图库表格库FAQ库我在直播间买了东西已经收到货了，但是没有收到中奖的奖品。您好，直播间中奖奖品满足派发条件后，正常是在7个工作日左右发出，还请您耐心等待。已经超过7天了啊您好，商品标签等完整的情况下，我们支持7天无理由退货。我不是退货啊是没有收到直播间的奖品。您好，直播间中奖奖品满足派发条件后，正常是在7个工作日左右发出，还请您耐心等待。怎么回事对不起，我不太明白您的意思您可以尝试换一种方式提问以ChatGPT为代表的

4、LLM成为智能客服“智能”的新希望答不出听不懂话答不准、答不全、答太多全都能答听得懂答的合适传统客服机器人基于LLM的客服机器人人工建库分而治之统一基座整体治之我在直播间买了东西已经收到货了，但是没有收到中奖的奖品。您好，直播间中奖奖品满足派发条件后，正常是在7个工作日左右发出，还请您耐心等待。已经超过7天了啊您好，商品标签等完整的情况下，我们支持7天无理由退货。我在直播间买了东西已经收到货了，但是没有收到中奖的奖品。您好，很抱歉让您遇到这个问题。通常情况下，如果您在直播间中奖，我们的工作人员会在直播间里联系您并核实信息，然后为您发放中奖奖品。请您确认一下，在直播间是否有我们工作人员通知您中奖

5、的信息？对呀，我是在你们直播间中奖的，工作人员也联系过。感谢您提供这些信息。由于物流等各种原因，可能会有些许延误，请您耐心等待一下，我们会尽快跟进处理。大模型已有ToC客服服务的落地案例业界已有不少企业尝试基于ChatGPT来搭建智能客服机器人微调行业大模型：采用行业数据、客户服务数据进行再训练和微调，得到垂直领域大模型角色设定（Prompt工程）：用文字来进行角色的设定，将ChatGPT设定为客服角色嵌入（Embedding）：将文本转换为一个向量，去企业向量数据库进行检索，检索出相关内容插件：识别出实体和关键词，采用外部插件，获取到相关信息部分或全部使用了这几种方法，而且对应每种方法目前也

6、有一些开源的框架工具。微调Prompt工程Embedding插件如，银行的智能客服可以基于基础模型引入行业数据、企业数据、客户服务数据进行模型再训练和微调如：你是某电商XX公司的客服，你们公司的产品为XXX，你的职责是为顾客提供24小时在线答疑服务。你善于倾听客户需求、细致耐心地解答问题，总是以最佳的用户体验为出发点去工作。如：问：给我推荐一下最近比较流行的口红？可以先根据“问题”检索对应的产品库，然后根据这些背景信息，让模型给出合适的回答。如搜索引擎、天气插件等问：根据最近全国的天气情况，给我规划一份旅游出行计划，出游时间是7天。学习领域新知识激发能力扩展领域信息扩展能力边界大模型已有ToC