金融行业数据中心的在线迁移-陈晓宇.pdf

1、金融行业数据中心在线迁移陈晓宇/宜信运维总监目录数据中心迁移背景搬迁前准备具体搬迁方案遇到问题和经验总结下阶段数据中心建设规划一、数据中心迁移背景降本增效网络架构优化数据中心搬迁背景为什么我们没有直接上云 不都说上云便宜吗？金融行业特殊性迁移机房最大的挑战资源华容道在线业务不受影响（金融行业监管）涉及面广二、搬迁前准备资源梳理和整改 应用调用关系梳理（服务的关系是个有向无环图）防火墙规则梳理防火墙规则梳理 历史遗留资源（包含数据、容器、域名）清理 域名整改 出口出口IP三方白名单添加三方白名单添加、三方专线 准备迁移备机 精确到每一台设备的搬迁时间 制定每种中间件迁移方案 与每个研发团队沟通搬

2、迁计划制定迁移计划三、具体搬迁方案辅助搬迁的神器：宜信容器云平台基于开源项目构建的一套集成资源管理（物理机、虚拟机、容器、存储）、DNS、Nginx、代码发布CICD、中间件一键部署以及监控和告警的平台容器在线迁移 Deployment Service Configmap PV/PVC Nginx混跑过程中服务变更怎么办？从flannel 到 calico 是否应该把容器的IP 暴露出去？新老机房的容器网络如何打通？Calico rr 模式DNS是先迁还是后迁宜信容器云老机房新机房域名解析域名解析域名解析本地化Nginx迁移宜信容器云老机房新机房客户端服务端Nginx配置同步批量域名替换数据库

3、中间件从库mysql-master.paas.idcmysql-slave1.paas.idc老机房新机房主从切换+域名切换主库从库mysql-slave2.paas.idc分布式中间老机房新机房zk1zk1.paas.idc添加节点+域名切换zk2zk2.paas.idczk3zk3.paas.idczk4zk5zk6注意：client和ZooKeeper server之间是TCP长连接对象存储迁移 写：新集群 读：优先新集群，如果文件不存在切换到老集群 流拷贝+多线程加快迁移速度 Hadoop Spark Hive Flink Kudu Datax Sqoop Presto Clickho

4、use HBase大数据集群迁移小容量小容量大容量大容量四、遇到问题和经验总结大数据延迟网关切换裸光延迟与毛刺高IO的应用和中间件一起迁移，只允许HTTP请求走裸光其他网络问题1、防火墙性能问题2、不同厂商设备，生成树成环，导致NAS网络中断，统一stp版本3、线材利旧导致网络错误包Redis哨兵只读Redis哨兵模式切换后,服务日志依然报超时/只读redis.clients.jedis.exceptions.JedisDataException:READONLY You cant write against a read only slave.jedis版本升级到=2.9.3 （jar包扫描

5、）谨慎合并数据库数据量小，并非负载低虚拟机三方遗留系统业务要求所有配置必须保持原状 网络二层打通，固定IP和MAC 虚拟机在线迁移遗留系统kvm虚拟机二层打通192.168.10.10 xx:xx:xx:xx:xx:xx解决Nginx长链接造成的问题Nginx长链接一直无法释放，运维添加定时脚本tcpkill-i any-9 host 10.0.x.x 经验总结 打造一个完善的基础设施是一个企业长期的积累过程 云原生统一规范，让资源快速迁移成可能 备用裸光的必要性 不确定的防火墙规则先放开 系统分级和故障优先级处理五、下阶段数据中心建设规划宜信私有云平台 将容器云进阶到私有云 中间件管理 基础资源、中间件、应用统一监控告警 多云管理混合云 为啥需要混合云 金融行业SLA要求 混合云实施步骤 专线拉通 数据备份 测试业务部署 生产业务灰度 双活 故障切换