1、前言前言近几年，企业基础设施云原生化的趋势越来越强烈，从最开始的 IaaS 化到现在的微服务化，客户的颗粒度精细化和可观测性的需求更加强烈。容器网络为了满足客户更高性能和更高的密度，也一直在高速的发展和演进中，这必然对客户对云原生网络的可观测性带来了极高的门槛和挑战。鸟瞰容器网络，整个容器网络可以分为三个部分：Pod 网段，Service 网段和Node 网段。这三个网络要实现互联互通和访问控制，那么实现的技术原理是什么？整个链路又是什么，限制又是什么呢？Flannel，Terway 有啥区别？不同模式下网络性能如何？这些，需要客户在下搭建容器之前，就要依据自己的业务场景进行选择，而搭建完毕后

2、，相关的架构又是无法转变，所以客户需要对每种架构特点要有充分了解。比如下图是个简图，Pod 网络既要实现同一个 ECS 的 Pod 间的网络互通和控制，又要实现不同 ECSPod 间的访问，Pod 访问 SVC 的后端可能在同一个 ECS也可能是其他 ECS，这些在不同模式下，数据链转发模式是不同的，从业务侧表现结果也是不一样的。为了提高云原生网络的可观测性，同时便于客户和前后线同学增加对业务链路的可读性，ACK 产研和 GTS-AES 联合共建，合作开发 ACK Net-Exporter 和云原生网络数据面可观测性系列，帮助客户和前后线同学了解云原生网络架构体系，简化对云原生网络的可观测性的

3、门槛，优化客户运维和售后同学处理疑难问题的体验，提高云原生网络的链路的稳定性。目录一、容器网络内核原理.61.概述filter 框架.93.tc 子系统.184.eBPF 技术.26二、全景剖析阿里云容器网络数据链路.291.Flannel 模式架构设计.292.Terway ENI 模式架构设计.503.Terway ENIIP 模式架构设计.804.Terway IPVLAN+EBPF 模式架构设计.1105.Terway ENI-Trunking 模式架构设计.1546.ASM Istio 模式架构.190三、容器网络常见观测工具及特点.2361.常见网络排查工具.2362.Net-Ex

4、port 技术原理.240四、ACK Net-Exporter 快速上手.2431.Prometheus+Grafana 配置.2442.ACK Net-Exporter 部署.2553.典型问题排查指南.267五、典型问题华山论剑.2741.某客户 nginx ingress 偶发性出现 4xx or 5xx.2742.某客户偶发 RTT 增高.2843.某客户反馈 pod 偶发性健康检查失败.2894.某客户偶发请求延迟.2945.某客户 SVC 后端负载不均.295容器网络内核原理6一、容器网络内核原理Linux 网络子系统是 Linux 系统最为基础的组成部分，理解 Linux 网络子

5、系统的核心和基础架构，能够让我们在排查网络问题的过程中对问题有较为全局的认识，避免由于缺乏了解而多走弯路。本章节会以全景概览的方式对 Linux 网络子系统进行简单的描述。1.概述网络通信的本质是电磁波高低电位变化在物理介质上的传输，高低变化的电位形成二进制的数据传递给网络硬件设备，硬件网络设备则会根据特定的编码方式讲二进制的数据变成以太网报文，此时，物理网络的信息就被解调制成为了数据帧，在 OSI 七层网络协议的定义中，二进制的数据处于物理层，而以太网数据帧则处于数据链路层，对于 Linux内核来说，物理层和数据链路层之间的转换通常是由硬件设备的驱动完成，Linux 内核定义了与硬件设备驱动

6、通信的标准，在完成数据链路层的收包后，硬件网络设备会将数据帧传递给操作系统 Linux 的内核进行处理，所以 Linux 网络协议栈的源头是数据链路层的数据帧报文。Linux 内核在处理数据帧报文是，按照数据帧的分片，TSO 等特性，将数据帧转化为可见的网络层报文，从而进行下一步的操作，内核在处理网络报文的时候，才用了一种非常高效的方式：内核通过一个 sk_buff 结构体，保存所有的报文数据。在网络层处理后传递给传输层的操作中，内核并不会为每一层进行复制，而是通过指针偏移的方式处理同一个 sk_buff 结构体。容器网络内核原理7下图是对 Linux 网络子系统的一个简单示意图：根据网络报文