2018年Serverless架构海量数据备份和同步.pdf

《2018年Serverless架构海量数据备份和同步.pdf》由会员分享，可在线阅读，更多相关《2018年Serverless架构海量数据备份和同步.pdf（15页珍藏版）》请在三个皮匠报告上搜索。

1、Serverless架构海量数据备份和同步01020304数据备份和迁移现状Serverless架构解决办法函数计算特点函数计算数据同步和迁移3个场景海量数据迁移备份面临问题数据源多样运维复杂备份平台异构峰值无法预估对开发者来说，需要对数据迁移的实时性、一致性、完整性、便捷性、安全性进行保障运维复杂难以保障数据访问不受设备和应用程序接口等问题的影响，备份平台多样如本地磁盘、其他云、磁带等。备份平台异构数据源有很多类型，例如对象存储、文件、图片、数据库备份、访问日志等数据源多样数据量无法预估高峰值，系统性能无法得到保障，业务中断风险剧增。峰值无法预估常见的海量数据备份和迁移方案（某视频网站）Se

2、rverless架构的应用数据同步案例架构特点：1、实时请求弹性伸缩2、全托管减少运维3、灵活处理多种来源4、内网联通效率高对象存储日志服务函数计算表格存储IoT套件RDS云磁盘本地磁盘、磁带RDS应用程序其他云数据备份数据分发数据访问数据转存数据源多种数据池中转处理流程说明：流程说明：多种数据源实时读写数据源，会通过函数计算弹性扩容把数据进行同步分发到启用应用程序或者把数据备份到云磁盘或者本地硬盘上，从而达到轻运维，简单易用。函数计算产品特点1免运维全托管环境，无需维护程序运行环境和硬件资源，安全可靠2弹性伸缩根据请求并发来自动扩容计算资源，客户无需提前预算3粘合剂内置打通OSS、API网关

3、、MNS、RDS、日志服务、IoT套件、云监控多款产品，仅需要配置即可使用按量付费根据运行使用资源付费，业务访问低谷期会自动回收资源，节省成本4事件触发触发条件简单，多种事件源，例如HTTP请求、定时器、API接口以及多种云产品均可触发执行5无状态运行函数无状态，减少多程序耦合，便于应用扩展和升级维护，接口简单6函数计算典型案例深度学习-码隆科技客户上传大量图像数据后，需要尽快把图像按照客户指定的方式处理，图像处理基于码隆预先训练好的深度学习模型，要求在短时间内准备大量的计算资源进行大规模并行处理。个性图片处理-新浪微博微博客户端上显示多种格式的图片，为了适配不同 的手机屏幕和操作系统，需要对

4、图片进行个性化的处理。微博有海量用户，系统每日要能处理海量 的调用请求，并保持稳定的延时。数据预热处理-芒果TV芒果TV把短视频上传后，客户的后端系统需要实时处理上传的数据，当数据量较大的时候会有排队现象，如果设置多台服务器处理，在业务低谷的时候，资源闲置浪费。实时协同办公-石墨文档多位石墨文档的用户在同一文档/表格上协同编辑时，有可能对同一内容进行了修改，产生冲突。石墨文档需要实现一套服务来实时处理文档编辑冲突，并能在合理的成本下平滑处理峰值负载。流式数据处理-115科技用户访问115产生海量的访问日志。客户需要对日志数据进行压缩，格式转换等操作，并把处理后的数据存储到数据库或者对象存储里，

5、整个系统架构需要考虑高并发和实时处理能力。存量数据备份和同步场景对比云服务器对象存储日志服务函数计算表格存储RDS负载均衡分发多种数据池当前数据备份和同步方案依赖并发分发能力和数据转存计算能力，会面临弹性扩容，架构笨重庞大，维护成本较高等问题，转型当前数据备份和同步方案依赖并发分发能力和数据转存计算能力，会面临弹性扩容，架构笨重庞大，维护成本较高等问题，转型Serverless会在轻会在轻维护，易管理上来提高整个工程效率。维护，易管理上来提高整个工程效率。负载均衡云服务器云服务器其他云本地磁盘、磁带云磁盘数据处理数据备份对象存储日志服务表格存储RDS多种数据池其他云本地磁盘、磁带云磁盘数据处理

6、数据备份当前数据备份和同步方案Serverless数据备份和同步方案PK定时器存量数据备份和同步-成本和效率对比020406080100120传统架构成本Serverless架构成本传统架构工程效率Serverless工程效率成本对比和工程效率对比成本对比新架构减少了计算资源和负载均衡以及安全防护费用，从成本上会节约30%以上。工程效率无需搭建运行环境和负载均衡，能实现快速迭代上线，节约大量运维工作，提升工程效率。效率大幅提升成本持续下降成本下降明显A、多媒体行业-音频、视频、图片B、互联网网站-网站日志C、直播点