Gtest_【自动化测试专场】-《多云环境中多版本Kubernetes 集群生命周期自动化测试实现》VMWARE中国余超.pdf

1、测无止境 数智共进2024全球软件测试技术峰会北京12月多云环境中多版本多云环境中多版本K8S集群生命周期自动化测试实现集群生命周期自动化测试实现演讲人：余超 2024年12月 个人形象照片姓名：余超姓名：余超VMWARE技术专家，TKG on MaaS产品测试开发负责人。原第四范式质量部团队测试专家，负责实现AI平台产品的CICD流水线搭建，实现AI微服务平台产品的快速交付和自动化测试。曾任职于百度和freewheel资深测试开发工程师，期间负责百度“爱耳目”产品的服务端测试和freewheel公司各个业务部门产品的CICD建设。软件研发效能实践权威指南副主编。目录目录被测对象：VMware

2、 TKG01 TKG测试要解决的问题和解决思路03 核心解决方案04 落地效果与总结05 自动化测试框架02 目录目录01被测对象:VMware TKG被测对象:VMware TKGTKG是什么？是什么？TKG概述概述TKG 是 VMware 推出的一种 Kubernetes 管理平台，旨在简化 Kubernetes 集群的部署、管理和运维。TKG 支持多种部署模式，包括本地部署、公有云部署和私有云部署等。TKG 还提供了一些额外的功能，如自动升级、安全加固、日志监控等。TKG 使用了 Cluster API 作为其底层技术之一，以便更好地管理 Kubernetes 集群的生命周期。通过使用

3、Cluster API，TKG 可以实现自动化的集群创建、扩展、升级和删除等操作，从而大大简化了 Kubernetes 集群的管理和运维。因此针对TKG产品的测试，不仅包含对Kubernetes 集群生命周期的测试，也包括其对接公有云、私有云和混合云能力的测试。TKG测试现状测试现状01K8S发版 VS vphere发版K8S发版 VS vphere发版02测试维度繁多测试维度繁多03QA于DEV测试范畴不同QA于DEV测试范畴不同04不同部门测试孤岛打通不同部门测试孤岛打通各个组件的频繁变更，支持多版本k8s测试，支持不同云厂商平台对接考虑众多测试维度，从操作系统到网络，从云厂商到集群操作步

4、骤基础功能测试和研发定制化功能测试整合测试，有的部门专注在不同云平台部署底层系统环境，有的部门注重k8s测试需要将它们整合到一起02TKG测试需求及解决思路TKG测试需求及解决思路部署需求部署需求构建对接云基础环境，多云适配；构建TKG的管理集群和负载集群个性化测试需求个性化测试需求云资源选择；操作系统选择；网络选择;LB 服务暴露方案选择;集群基础功能测试选择（cni,csi）测试场景覆盖测试场景覆盖覆盖部署，升级，多版本部署和以上个性化测试需求的组合测试；TKG测试需求测试需求TKG测试测试-多云环境适配方案（计算资源）多云环境适配方案（计算资源）在任意云平台上使用vCenter对计算资源

5、进行配置，在一套SDDC环境中进行多套TKG测试环境的部署TKG测试测试-多云环境适配方案（网络资源）多云环境适配方案（网络资源）在任意云平台上使用NSX对网络资源进行生成和配置，在一套SDDC环境中进行多套TKG网络环境部署TKG测试测试-快速部署问题及解决方案快速部署问题及解决方案A Avsphere部署vsphere部署Vsphere套件部署，包括vCenter和NSXB BTestbed部署Testbed部署Jumper机器部署;计算/存储资源和网络部署C C节点部署节点部署包括TKG环境的机器节点资源部署和操作系统部署等TKG测试测试-快速部署问题及解决方案（快速部署问题及解决方案（

6、1）创建vsphere创建Testbed创建集群节点一次性创建创建Jumper VM，获取调用vCenter NSX,EXSI能力 对扩展 CRDs定义的自定义资源进行创建和更新，从而进行k8s集群的部署TKG测试测试-快速部署问题及解决方案（快速部署问题及解决方案（2）Ova文件在content library 导入的image管理节点和负载节点的设定网络和存储设定TKG测试测试-维度多，组合爆炸问题及解决思路维度多，组合爆炸问题及解决思路操作系统，K8S版本.操作系统，K8S版本.操作系统包括ubuntu/Rhel/photon;k8s包括近期最新三个版本.测试操作，网络.测试操作，网络.