容器云

当前，云计算被广泛地应用于整合数据中心物理节点的物理资源。其中，多租户是云计算被广泛采用的一种特性，其允许不同租户的计算实例可以同时运行在同一台物理服务器上，而当租户需要一台新的云虚拟机时仅由云服务商提供。为解决这一问题，容器云应运而生。容器云，指的是基于开源容器和容器编排引擎，将容器作为资源分割的基本单位，封装各类应用和运行环境，给开发者/系统管理者提供用于构建、发布和运行分布式应用的平台。在不同类型的云服务中，多租户容器云成为传统基于虚拟机(Virtual Machine，VM)云基础设施的轻量级替代品。容器是一种操作系统级的虚拟化技术，容器可通过避免额外抽象层的开销实现接近本机的性能。容器管理和编排系统(如Docker、Kubernetes)的出现深刻地改变了在云上构建、运送和部署多层分布式应用程序的生态系统。目前，包括Amazon、IBM、Microsoft和Google在内的大量云服务提供商均已经提供了容器云服务。

在面向应用的层级上，应用程序的环境配置、开发和运行，相对于在虚拟机基础上资源消耗大、启动慢、分布式应用伸缩不及时等缺点，容器技术在应用层面对资源分配上进一步细粒度化，通过将应用程序完整的运行环境，包括全部依赖库、环境配置等封装成一个通用的基础镜像，将应用本身构建于基础镜像之上，运行时只需将镜像以容器方式运行即可，而且是启动时间是秒级的，对于高并发、高弹性的应用提供了很好的解决方案。容器云源于Docker容器技术。Docker技术成为容器技术的代名词，同时也进一步促进了容器技术的推广和发展。Docker是容器化技术的具体技术实现之一，从容器的本质上说，容器是以进程的方式运行在操作系统上，并对该进程访问资源时进行隔离和限制，Docker基于容器的设计思想，是在Linux Container(LXC)技术基础上实现的核心管理引擎。对资源进行隔离和限制主要采用以下三种关键技术^[1]：

(1)命名空间

命名空间(Namespace)是Linux内核提供的用于进程级资源隔离的方法，每个容器实例本质上为一个独立的系统进程，容器引擎通过对命名空间的进一步封装和整合来实现容器间的隔离。命名空间保证了容器只会专注各自的运行环境和应用，不会影响或访问其他容器，从而保证了各容器中应用程序的运行安全

(2)控制组

控制组(Control groups)又称Cgroups，它是容器技术实现的另一个重要工具，同样也是由Linux内核提供支持，对进程组的资源进行限制和统计，用来控制进程对物理硬件资源(CPU、内存、网络、I/O、存储等)的访问，Cgroups的实现是通过内核给程序附加hooks，当程序在请求资源时，会触发相应的hooks，从而实现对资源的控制。避免一些耗费资源的应用程序占用大量的物理资源，比如计算密集型任务，从而影响到其它容器的性能

(3)联合文件系统

联合文件系统(Union File System，UFS)是Linux中能够对文件系统命名空间进行联合操作的抽象文件系统。Docker容器引擎基于联合文件系统设计了分层式镜像文件格式，即Docker容器由多个镜像文件按照层次堆叠而成，最上一层外作为可读写层，除第一层外都为只读层。用户可以在只读层之上提交自己的应用文件来个性化定制容器镜像，这里的容器镜像和容器实例是一对多的关系，每个容器镜像可以创建多个同类型的容器实例，可以用Java语言中类和对象的关系来做类比。容器镜像的一次创建，可以通过从镜像仓库拉取的方式创建多个容器实例，通过这种分层的镜像文件格式有利于容器镜像的一致性和可重用性。

(3)服务性能支持：两者都支持负载均衡和弹性扩容，但容器云实现了支持服务发现、私网、SDN网络功能，用户能够添加虚拟交换机(免费)连接多个容器，实现相互通信、访问公网或搭建集群，如需增加服务性能，单独再添加容器数量即可

(1)操作自由度：正常云主机的操作自由度高，功能非常全面；而容器云是轻量级的云服务产品，能实现云服务器绝大部分的功能，用户可以自行安装或运行任意应用程序。

(5)数据隔离性：容器云的隔离性比虚拟主机强，比云服务器弱。每台容器的在CPU和内存上设有上限，目的是避免资源占用过高，影响同一宿主机上的其他主机运行。即使同一宿主机上的某一主机被黑，无法查看其他主机上的文件，能够实现数据100%隔离。

(2)网络选择类型：云服务器是独享IP公网，容器云则有私有网络、独享IP公网(同云服务器)、共享IP公网(同虚拟主机)，或同时使用独享IP和共享IP进行公网通信等四种网络方式可用

(4)可用资源：在使用上，云服务器类似独立主机，独享服务器的所有网络资源；容器云是共享宿主服务器资源，但它的共享北非完全共享，仅和宿主机共享硬件资源与操作系统，和其他容器共享内核，以实现资源的动态分配。

目前，业界存在LXC、Docker、Warden、Rocket、OpenVZ等容器技术，其中，最具人气并且最为广泛的容器技术为Docker。

Docker是由Docker公司(原dotCloud公司)发布的一个开源的容器引擎，使用Go语言编写，并遵从Apache2.0协议。Docker可以在容器内部快速启动和部署应用程序，并通过Linux内核的资源隔离特征(如cgroups和kernel namespaces)以及联合文件系统(如OverlayFS)等功能为容器实例提供资源隔离和安全的保障。Linux内核对命名空间namespaces的支持主要是隔离应用程序的操作环境，包括进程、网络、用户ID和挂载的文件系统，而内核的cgroups提供资源限制的功能，包括CPU、内存、块I/O和网络资源等。Docker自2013年发布以来，起初选择LXC工具实现对容器的控制，自Docker0.9版之后，使用libcontainer库管理namespaces、cgroups、 capabilities以及文件系统来实现对资源的管控。

使用Docker容器技术作为应用开发部署的工具，具有如下优点：

(1)高效的资源利用率。由于容器使用轻量级虚拟化方式，与底层共享操作系统，资源利用率更高，相同条件下可以运行更多的容器实例；

(2)拥有镜像仓库。Docker官方建立了容器镜像仓库(DockerHub)，用户可以自由上传下载容器镜像模板，为开发提供了便利；

(3)跨平台的支持。Docker官方为容器设置了标准化属性配置方法，支持将上层应用程序以及依赖的环境打包成镜像，然后发布到任何流行的Limix机器上，实现了容器“构建一次，处处运行”；

(4)节约时间和成本。Docker容器支持快速启动和部署，并且容器实例大小可以减小到MB级别，开销低；

(5)支持持续部署和测试。容器的封装性消除了应用程序测试和部署的环境差异，保证了应用程序生命周期的环境一致性，降低了应用持续集成、部署和测试的时间成本；

(6)操作简单并对外提供Rest API接口^[2]。

企业部署容器云的基本模式普遍是将容器部署在虚拟机云服务器上。尽管理论上讲容器相较虚拟机拥有更加轻量、敏捷、高效的基础资源调用方式，也能够直接部署于物理机上并作为云资源的调度器。然而当前主流的企业容器云实践中，裸机部署(指直接部署在物理服务器上)的运用仍然较少，其原因是一方面以虚拟化为基础的云架构已经构建了成熟的行业生态和标准；另一方面，在裸机部署容器云架构下，容器域服务器之间缺少隔离层，其安全隐患是不可忽视的。我国部署容器云的通用模式如图所示。

容器云的普遍架构方式是以Openstack作为IaaS级服务，在云服务上搭建Kubernetes容器平台，构建PaaS级的容器云服务，为SaaS(Software as a Service，SaaS)级服务提供容器支持。在容器的企业级应用当中，即使只是提供单个服务往往也需要大量容器的共同参与，增加了程序运行的复杂性。在这种背景之下，Kubernetes成为了容器云平台中最受欢迎的容器引擎。在2019年全球Docker容器编排管理工具，Kubernetes凭借可靠的稳定性成为了当下容器云中主流的容器编排引擎

容器云平台是一种以容器为核心的云计算平台，相比传统的云计算平台，它更多地强调容器化，资源管理以容器为核心单位，因此，它对资源的管控更灵活、高效，更能满足企业的多元化需求。容器云平台不仅实现了“平台即服务”，而且对基础设施也有很好的管理。主流的容器云平台提供的服务有资源调度与监控、服务编排与治理、应用快速部署、存储服务与镜像服务、监控告警等。容器云平台的总体架构如图

容器云平台整体上可分为四层，最底层为与物理硬件相接洽的基础设施资源层，在这之上为集群纳管的资源调度层，集群之上是提供基本服务的平台层，最上层为与用户联系紧密的业务应用层。

(1)基础设施资源层是与硬件资源最接近的一层，其利用系统内核提供的一些接口虚拟化节点的物理资源，聚合这些资源并提供一些统一的接口给上层调用，基础设施资源层管理的资源主要有网络资源、操作系统、存储资源、CPU等资源；

(2)资源调度层的实现依赖于Docker的虚拟化技术和Kubernetes的容器编排服务，资源调度层将所有基础设施资源层提供的物理资源看作一个集群，集群内的每台独立的物理机或者虚拟机称为节点，集群内部通过分区来进行资源隔离，集群整合了所有计算资源和存储资源，通过设定配额来给容器分配CPU、内存资源，通过挂载存储卷来使用存储资源；

(3)平台层提供了平台上一些常见的服务，平台层提供的服务依赖于资源调度层以及平台组件。平台提供了从用户管理、资源管理、应用管理到运维监控等一系列功能，用户管理包含多租户管理、认证中心、权限管理等功能。资源管理包含对资源调度层的资源管理，例如，添加多个集群，给集群添加新的节点，挂载新的存储卷等。应用管理包括应用部署、弹性伸缩、灰度发布等，应用管理的实现主要基于Kubernetes的容器编排技术。应用的持续集成也是应用管理中的一个关键点，应用的持续集成事实上包含应用管理中的多个独立功能，它是由平台中的Jenkins组件支持的，平台内部部署了Jenkins服务，应用的持续集成服务便是调用平台上的Jenkins服务实现的。容器云平台也集成了私有的镜像仓库，该组件基于开源的Harbor项目实现，主要面向企业用户提供用于高效管理镜像的仓库服务。容器云平台的一大特色在于深化了DevOps理念，将应用部署方案简化是一方面，另一方面在于平台提供了很多运维服务，像监控告警、健康检查等服务，监控告警主要是基于开源项目Prometheus，Prometheus是一个性能十分强劲的系统监控和告警系统，其对Kubernetes有很好的支持。另一方面，由于整个平台是架构在Kubernetes集群之上的，因此，采用Prometheus来做监控告警服务是一个极佳的解决方案。

(4)业务应用层提供了平台的几种资源对象，包括应用、服务、实例，这几个主要是从租户、项目管理员、平台管理员的视角抽象出来的平台资源对象，向用户屏蔽了 Kubernetes 的相关概念，便于用户理解与使用^[3]。

1、私有云容器

(1)KubeSphere：一款基于Kubernetes构建的开源企业级容器平台，QKE在QingCloud公有云上交付KubeSphere容器平台全能力。

(2)灵雀云：Alauda Container Platform(简称“ACP”)是灵雀云推出的容器云平台。

2、公有云容器服务

(1)Amazon Web Services(AWS)：提供了ECS、AWSFargate、EKS等容器服务产品，为客户提供容器虚机、无服务器容器和Kubernetes集群三类应用托管环境。

(2)Microsoft——Azure：Azure除了AKS等容器产品之外，还提供了向普通容器开发者的容器实例服务，例如为Windows开发者提供Windows容器，为Web开发者提供容器化WebServer服务。Windows容器的支持可以认为是Azure的一大特点。

(3)Google Clou：应用场景有Google Kubernetes Engine、Deep Learning Containers、CloudRun等

(4)阿里云：2016年5月正式推出容器服务，其容器产品家族涵盖公共云、边缘计算和专有云等场景。

3、数据云平台

星环科技：星环科技结合公司大数据平台TDH、云操作系统TCOS、人工智能平台Sophon分别在大数据、容器云平台和人工智能领域技术上的经验优势，推出新一代智能大数据云平台产品Transwarp Data Cloud，该平台利用了大数据+云+人工智能的融合，实现数据+应用的生态系统。

4、云原生存储

(1)焱融云：YRCloudFile是一款有元数据服务的分布式文件存储产品，支持元数据服务和数据服务的线性水平扩展

(2)衫岩数据：容器云存储解决方案充分发挥了杉岩统一存储平台的云适配、开放等优势，支持各种复杂的应用负载，可灵活支撑符合Kubernetes Software Conformance Certification认证的所有容器云平台^[4]。

参考资料：

[1] 郑强清.基于LSTM的容器云资源预测与配置的研究

[2]张沛华.基于容器云的网络建模与仿真关键技术研究

[3]郑国庆.容器云平台上应用自动化部署系统的设计与实现

[4]InfoQ&；星环科技：2021云原生时代容器云的技术发展趋势(46页).pdf

本文由@Y-L发布于三个皮匠报告网站，未经授权禁止转载。

容器云相关报告

Dosec：2018年Docker容器最佳安全实践白皮书（117页）.pdf

艾瑞咨询：2020年中国容器云市场研究报告——艾瑞云原生系列报告（一）(56页).pdf

腾讯云-闫志强 - Serverless容器云原生探索之旅：云开发-云托管落地实践.pdf