华为工程师，图解Linux中如何实现TCP，带你探索不一样的网络世界

先来一个引入把，我不是专业的网络工程师，但是公司业务和网络的关系比较大，所以接触也比较多，在面试的时候也需要考察面试者的网络相关知识，为了能够更好的考察面试者的能力，我就把网络的部分整理成一张导图，除了参考之外也是对自己的一个提醒，防止面试者反问回来自己回答不明白

而在面试的过程中，我发现对于网络的知识，尤其是tcp这一块，虽然这个只是很常见，但是在面试的时候，面试者回答的也都不是很尽如人意，可能是因为我们公司不大的原因吧，而研究这一块的知识，Linux操作系统真的是一个很好的研究平台，我们来看一下，从Linux系统内核研究一下tcp
本文档简要概述了如何在Linux中实现TCP。他可能并不全面，并且也不能保证完全准确。

图1 和 图2 展示了 TCP/IP 协议栈在 Linux 内核中的实现，图1 展示了一个网络包通过物理网线到达应用程序的过程，Linux 内核使用一个名为 sk_buff 的数据结构来表示一个网络包。当一个网络包到达网卡时，会通过 DMA 引擎将这个 sk_buff 加入到一个叫 rx ring 的 ring buffer 中，当这个 ring buffer 已经满了的时候，的报文将被舍弃。当更高层的协议处理数据包的时候，报文保存在内核的内存中从而避免了额外的拷贝。
一旦成功接收到一个数据包，网卡会向 CPU 发送一个中断，中断处理函数将数据包传给 IP 层。 IP层处理完后，判断如果是 TCP 报文，就会将数据包发给 TCP 层处理，数据包经过 TCP 层一系列复杂的处理过程，会更新 TCP 的状态机，最后将数据包存储在 TCP 的 接收缓冲区中。
TCP 调优的一个关键参数为接收端的 recv 缓冲区大小。TCP 发送方能够发送的数据包的数量为发送方的拥塞控制窗口 (cwnd) 和接收方的告知的接收窗口 (rwnd) 中的最小值。而接收方告知的接收窗口的最大值就是 recv 缓冲区大小。因此，如果 recv 缓冲区设置的比 BGP (带宽延迟积) 小，则网络的吞吐量将会很低。另外，一个大的 recv 缓冲区允许大量的数据包处于未完成状态，可能超过了双方可以维持的数据包数量。recv 缓冲区大小可以通过修改 /proc/sys/net/ipv4/tcp rmem变量来设置。它需要三个值，最大值，最小值，默认值。最小值定义了最小可以接收的缓冲区大小，即使操作系统处于硬件内存很小。默认值是接收缓冲区的默认大小，它与TCP滑动窗口比例一起用来计算实际公示的窗口大小。max 定义接收缓冲区的最大值。
此外在接收端，参数netdev max backlog 指示网卡设备上排队的最大数据包数，这些数据包等待TCP接收进程处理。如果一个新收到的数据包在添加到队列时会导致队列超过netdev max backlog，那么它将被丢弃。
在发送端，如图 2 ，所示，用户程序通过系统调用 write 将数据写入 TCP 的 send buffer，和接收端的缓冲区一样，send buffer 也是提供吞吐量很重要的参数。拥塞窗口的最大值和分配给 TCP socket 的 send buffer 空间大小相关，send buffer 保存了所有还没有确认的数据包，因为该数据包可能还需要重发，如果s end buffer 设置的太小，则拥塞窗口也会变小，将影响吞吐量。另外，一个大的 send buffer 可能导致拥塞窗口变大，如果没有通过 接收端的 recv buffer 来限制，未确认的报文数目会随着拥塞窗口的增加而变大，如果超过双方可以维持的最大包数目从而导致丢包。send buffer 的大小可以通过修改 /proc/sys/net/ipv4/tcp 的 wmem 变量值，同样需要配置最大最小值和默认值。

类似于接收端的 netdev max backlog 是发送者的网卡设备上排队的最大数据包数。TCP 层在数据到达 send buffer的时候会构建报文，当收到确认报文回复的时候也会更高数据包状态。构建好 TCP 报文后会将数据包推送到协议下层的 IP 层进行传输，IP 层将加数据包放入一个和网卡关联的输出队列。该队列的大小可以通过修改和网卡设备关联的 txqueuelen 变量值来设置。如果队列已满，会尝试将数据包排队生成一个阻塞事件传播到 TCP层。TCP 拥塞控制算法将减少拥塞窗口的状态变量，每有一个阻塞事件会将当前拥塞窗口的状态变量减半。当数据包成功加入到队列，则这个数据包的描述符 (sk buff) 将会放入到发送方的 ring buffer 中，之后设备驱动通过 DMA engine 将数据包传输到线路中。
上述参数展示了网络连接的流量控制，但拥塞控制行为也会对对吞吐量产生很大影响。TCP使用多种拥塞控制算法来匹配发送速率以适应有瓶颈的线路。在一个无连接的网络环境里，大量的TCP流和其他类型的流量共享同一个瓶颈链路，当链路上的数据包数量发生变化的时候，TCP 流的可用带宽也会变化。当TCP流的发送速率高于可用带宽时，数据包会丢失。另一方面，由于带宽被保留，数据包不会因为与电路中其他流的竞争而丢失。但，当一个发送速率很快的发送端连接到一个速率较低的链路时，由于交换机的缓冲区溢出，数据包也可能会丢失。
当一个 TCP 完成连接建立后，发送方使用确认报文作为一个时钟从而将新的数据包加入网络，称为 ACK-clocking。由于 TCP 接收端发送 ACK 数据包的速度不能超过瓶颈链路速率，因此ACK 时钟下的 TCP 发送端传输速率与瓶颈链路速率匹配。为了启动 ACK 时钟，TCP 发送端使用慢速启动机制。在慢启动阶段，对于接收到的每个 ACK 数据包，TCP发送端连续传输两个数据包。由于 ACK 数据包以瓶颈链路速率传输，发送方传输数据的速度基本上是瓶颈链路能够维持的速度的两倍。当拥塞窗口的大小超过 ssthresh 时，慢启动阶段结束。在许多拥塞控制算法中，如 bic，可以调整初始慢启动阈值（ssthresh），以及其他因素（如最大增量），使bic或多或少提高效率。但是，与通过sysctl函数更改缓冲区一样，这些是系统范围内的更改，可能会对其他正在进行的连接和将来的连接产生不利影响。TCP 发送端最多只能发送拥塞窗口和接收端公布的窗口中的最小值。因此，除非受接收端公示的窗口的限制，否则每个往返时间内未完成数据包的数量将增加一倍。由于数据包是由瓶颈链路速率转发的，因此在每个往返时间内，将未完成数据包的数量加倍也将使瓶颈交换机内的缓冲区占用率加倍。最后，一旦缓冲区溢出，瓶颈交换机内部就会有数据包丢失。
当发生数据包丢失后，TCP发送端进入拥塞控制阶段。在这期间，每收到一个回复报文拥塞窗口加一。当 ACK 数据包以瓶颈链路速率返回时，拥塞窗口和未完成数据包的数量都在不断增加。因此，一旦未完成数据包的数量超过瓶颈链路交换机中的缓冲区大小加上线路上的数据包数量，数据包将再次丢失。
还有许多与 Linux 中的 TCP 操作相关的其他参数，并且每个参数都在发布的文档（documentation/networking/ip sysctl.txt）中进行了简要说明。TCP 实现可配置参数的一个例子是 rfc2861 拥塞窗口重启功能。如果发送方 空闲一段时间（一个 RTO），则RFC2861 Pro 将重新启动拥塞窗口，目的是确保拥塞窗口反映网络的当前状态。如果连接处于空闲状态，拥塞窗口可能反映网络的已经过时状态，需要进行重置。可以使用 ysctl tcp slow start 在空闲后禁用此行为，但此更改会影响系统范围内的所有连接。
另外，我把网络相关的一些常考的知识点进行了总结和梳理，依据的是腾讯的一个朋友提供的参考

需要这张图以及上面的思维导图的，关注+转发后，私信“资料”即可查看获取方式