文章目录
- 传输层
- 传输层功能介绍
- 可靠传输和尽最大努力传输
- tcp
- 端口说明
- TCP/ip协议头部详解
- TCP的三次握手
- UDP详细介绍
- UDP的概述(User Datagram Protocol,用户数据报协议)
- UDP的首部格式
- UDP校验
- ICMP
传输层
传输层功能介绍
- 传输层:
标明上层所使用什么样的应用
端口号(2字节)
SYN(1bit)
ACK(1bit) - 传输层的功能:
- session multiplexing——会话多路复用
Identification of different applications——识别不同申请
Segmentation*——分割
Flow control*——流量控制
Connection-oriented*——面向连接
Reliability*——可靠性 - 会话多路复用 说明
为什么一个IP地址可以做很多事情
是因为有:五元组
源IP地址,目的IP地址,源端口号,目的端口号,协议号(protocol)
感兴趣的可以看这本书:强叔侃墙
注:五元组是唯一的,没有两个相同的五元组信息。
用telnet来理解传输层就是,如果我们通过host1连接host2,可以多次连接,但每次返回的端口号肯定是不一样的(可以抓包看返回的端口验证) - 可靠性 说明
有连接的协议(TCP)
可靠性的基础
①数据的传输是有序的
②数据的传输是有确认机制的
③有数据重传机制
④可靠性的前提是建立一条连接
可靠传输和尽最大努力传输
- tcp,是有序连接的,就是说中断的时候会等待,然后按顺序传输。
- udp,是无序的,中断的时候不会等待,会接着往下走。
- 说明一下使用场景
tcp
:电子邮件,下载等等,只能用tcp,比如下载一个安装包,如果中断一下不等待按顺序下载的话就会导致该安装包无法使用。udp
:如果视频语音要等等待按顺序的话,比如视频看到5分钟卡了一下,看到第10分钟恢复了,那么10分钟这就会出现5分钟卡顿时候的内容,这样10分钟该有的内容就会无法看到,所以视频音频都使用udp协议。
tcp
端口说明
所谓的端到端的传输就是说 端口到端口的传输。
端口区间:0-65535
其中:
0-1023
知名端口号(一直不变的端口,可以背下来的那种)
1024之上
的 非知名端口号
注:下图中,tcp/udp空白的都为tcp
TCP/ip协议头部详解
抽象出图文是这种结构,但是在底层中数据到底是怎么传输的 是一个更为复杂的过程。
IP数据包头部格式:
TCP协议是传输协议,为应用层提供数据服务,和UDP不同,TCP提供可靠的面向连接服务,关于TCP头部数据格式的说明
- 16位端口号:告知主机该报文段是来自哪里(源端口Source Port)以及传给哪个上层协议或应用程序(目的端口Destination Port)的。进行TCP通信时,客户端通常使用系统自动选择的临时端口号,而服务器则使用知名服务端口号(比如DNS协议对应端口53,HTTP协议对应80,这些端口号可在/etc/services文件中找到)。
- 32位序号:一次TCP通信(从TCP连接建立到断开)过程中某一个传输方向上的字节流的每个字节的编号。假设主机A和主机B进行TCP通信,A发送给B的第一个TCP报文段中,序号值被系统初始化为某个随机值ISN(Initial Sequence Number,初始序号值)。那么在该传输方向上(从A到B),后续的TCP报文段中序号值将被系统设置成ISN加上该报文段所携带数据的第一个字节在整个字节流中的偏移。例如,某个TCP报文段传送的数据是字节流中的第1025~2048字节,那么该报文段的序号值就是ISN+1025.另外一个传输方向(从B到A)的TCP报文段的序号值也具有相同的含义。
- 32位确认号(acknowledgement number):用作对另一方发送来的TCP报文段的响应。其值是收到的TCP报文段的序号值加1。假设主机A和主机B进行TCP通信,那么A发送出的TCP报文段不仅携带自己的序号,而且包含对B发送来的TCP报文段的确认号。反之,B发送出的TCP报文段也同时携带自己的序号和对A发送来的报文段的确认号。
- 4位头部长度(header length):标识该TCP头部有多少个32bit字(4字节)。因为4位最大能标识15,所以TCP头部最长是60字节。
- 6位标志位包含如下几项:
URG标志,表示紧急指针(urgent pointer)是否有效。
ACK标志,表示确认号是否有效。我们称携带ACK标识的TCP报文段为确认报文段。
PSH标志,提示接收端应用程序应该立即从TCP接收缓冲区中读走数据,为接收后续数据腾出空间(如果应用程序不将接收
到的数据读走,它们就会一直停留在TCP接收缓冲区中)。
RST标志,表示要求对方重新建立连接。我们称携带RST标志的TCP报文段为复位报文段。
SYN标志,表示请求建立一个连接。我们称携带SYN标志的TCP报文段为同步报文段。
FIN标志,表示通知对方本端要关闭连接了。我们称携带FIN标志的TCP报文段为结束报文段。 - 16位窗口大小(window size):是TCP流量控制的一个手段。这里说的窗口,指的是接收通告窗口(Receiver Window,RWND)。它告诉对方本端的TCP接收缓冲区还能容纳多少字节的数据,这样对方就可以控制发送数据的速度。
- 16位校验和(TCP check sum):由发送端填充,接收端对TCP报文段执行CRC算法以检验TCP报文段在传输过程中是否损坏。注意,这个校验不仅包括TCP头部,也包括数据部分。这也是TCP可靠传输的一个重要保障。
- 16位紧急指针(urgent pointer):是一个正的偏移量。它和序号字段的值相加表示最后一个紧急数据的下一字节的序号。因此,确切地说,这个字段是紧急指针相对当前序号的偏移,不妨称之为紧急偏移。TCP的紧急指针是发送端向接收端发送紧急数据的方法。
- TCP头部选项:TCP头部的最后一个选项字段(options)是可变长的可选信息。这部分最多包含40字节,因为TCP头部最长是60字节(其中还包含前面讨论的20字节的固定部分)。典型的TCP头部选项结构如下图所示
选项的第一个字段kind说明选项的类型。有的TCP选项没有后面两个字段,仅包含1字节的kind字段。第二个字段length(如果有的的话)指定该选项的总长度,该长度包括kind字段和length字段占据的2字节。第三个字段info(如果有的话)是选项的具体信息。常见的TCP选项有7中,如下图
kind=0是选项表结束选项。
kind=1是空操作(nop)选项,没有特殊含义,一般用于将TCP选项的总长度填充为4字节的整数倍。
kind=2是最大报文段长度选项。TCP连接初始化时,通信双方使用该选项来协商最大报文段长度(Max Segement Size,MSS)。TCP模块通常将MSS设置为(MTU-40)字节(减掉的这40字节包括20字节的TCP头部和20字节的IP头部)。这样携带TCP报文段的IP数据报的长度就不会超过MTU(假设TCP头部和IP头部都不包含选项字段,并且这也是一般情况),从而避免本机发生IP分片。对以太网而言,MSS值是1460(1500-40)字节。
kind=3是窗口扩大因子选项。TCP连接初始化时,通信双方使用该选项来协商接收通告窗口的扩大因子。在TCP的头部中,接收通告窗口大小时用16位表示的,故最大为65535字节,但实际上TCP模块允许的接收通告窗口大小远不止这个数(为了提高TCP通信的吞吐量)。窗口扩大因子解决了这个问题。假设TCP头部中的接收通告窗口大小是N乘2的M次方,或者说N左移M位。注意,M的取值范围是0~14。我们可以通过修改/proc/sys/net/ipv4/tcp_window_scaling内核变量来启用或关闭窗口扩大因子选项。
kind=5是SACK实际工作的选项。该选项的参数告诉发送方本端已经收到并缓存的不连续的数据块,从而让发送端可以据此检查并重发丢失的数据块。每个块边沿(edge of block)参数包含一个4字节的序号。其中块左边沿表示不连续块的第一个数据的序号,而块右边沿则表示不连续块的最后一个数据的序号的下一个序号。这样一对参数(块左边沿和块右边沿)之间的数据是没有收到的。因为一个块信息占用8字节,所以TCP头部选项中实际上最多可以包含4个这样的不连续数据块(考虑选项类型和长度占用的2字节)。
kind=8是时间戳选项。该选项提供了较为准确的计算通信双方之间的回路时间(Round Trip Time,RTT)的方法,从而为TCP流量控制提供重要信息。我们可以通过修改/proc/sys/net/ipv4/tcp_timestamps内核变量来启用或关闭时间戳选项。
以下是抓到的一个TCP报文段:
从图中可以看出源端口号58991对应e66f,目的端口号443,对应01bb,Flags为SYN,表示请求一个连接,因此它是一个同步报文段。这里seq表示的是相对序号,因为该同步报文段是从180.85.25.164到74.125.204.100的第一个TCP报文段,所以该序号值也就是此次通信过程中该传输方向的ISN值,则相对序号即为0。并且,因为这是通信过程中第一个TCP报文段,所以它没有针对对方发送来的TCP报文段的确认值(尚未收到任何对方发来的TCP报文段)。
window size是接收通告窗口大小,因为这是一个同步报文段,所以win值反映的是实际的接收通告窗口大小。
TCP的三次握手
- tcp的三次握手和四次挥手
TCP的三次握手就像两个同学对话,A同学问B同学,你能听到我说话吗?A向B发送一个能不能听到说话的一个连接请求,B同学收到A同学说的话,这时候就是第一次握手成功,证明A-B这条路是没问题的,然后B同学会回答A同学,我可以听到,你能听到我说话吗?,这时候相当于B发送一个确认以及连接请求给A,这是第二次握手,A收到以后再次告诉B,我也可以听到你说话,这时候是A向B再次发送一个确认,这就是第三次握手,这时候证明B到A这条路也没问题,两条路都是通的,这就是对三次握手的白话理解。
换一种带文字的方式如下图:
- TCP四次挥手,其实四次是断开,更好理解一点,A告诉B,我传给你的东西传完了,我要跟你断开了,B收到以后告诉A,那你断吧,然后B再告诉A,我给你的东西也传完了,我也断开了,A收到以后再告诉B,那你断吧
- 下面用两台pc建立连接为例说明:
主机1:IP地址为192.168.1.1
主机2: IP地址为216.3.226.21
下面是TCP/IP传输的数据,下面这些为十六进制TCP/IP协议的数据,不是完整的网络通信数据 - 第一次:向web站点发送连接请求
192.168.1.246 -> 123.56.106.180
IP头部:45 00 00 30 52 52 40 00 80 06 2c 23 c0 a8 01 01 d8 03 e2 15
转化成二进制:1000100111011111111111011111111111100101111111101010000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000
TCP头部:0d 28 00 15 50 5f a9 06 00 00 00 00 70 02 40 00 c0 29 00 00
转化成二进制:1100111100100111111011111111111100010100111101010000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000
来看看IP头部的数据都表示什么:
第一个字节 45:其中’4’代表IP的版本协议,说明是IPV4,‘5’标识IP头部长度,是一个4bit的字段,最大值就是1111了,IP头部最大长度为60字节,最大值12,而这里的’5’,说明有20个字节的长度,这是标准的IP头部长度。
接下来是 00:是服务类型,由8个bit构成,每2个bit分别标识:最小延时、最大吞吐量、最高可靠性、以及最小费用。这四个1bit同时只能有1个为1。本例中都为0表示一般服务。
接下来 00 30:是IP数据报文的总长,包含头部以及数据,这里表示48字节,这48字节表示由20字节的IP头部,和28字节的TCP头部构成。
接下来 52 52:转换为十进制就是21074。这个是让目的主机来判断新来的分段属于哪个分组。
接下来 转换为二进制就’0100 0000’,其中第一位是IP协议目前没有用上的,为0。接着的是两个标志DF和MF。DF为1表示不要分段,MF为1表示还有进一步的分段(本例为0)。然后的“0 0000”是分段便移
接下来 80:这个字节就是TTL,表示一个IP数据流的生命周期。转化成10进制为128,说明该数据包最多经过128次路由将被丢弃,每路由一次,TTL的值减1。
接下来 ‘06’,这个字节表示传输层的协议类型。在RFC790中有定义,6表示传输层是TCP协议。
接下来 ‘2c 23’这个16bit是头校验和。
接下来“c0 a8 01 01”,这个就是源地址(Source Address)了,也就是主机1的IP地址。转换为十进制的IP地址就是:192.168.1.1,同样,继续下来的32位“d8 03 e2 15”是目标地址,216.3.226.21
至此IP数据头部大概解析完成,接下来解析TCP头部
TCP头部:0d 28 00 15 50 5f a9 06 00 00 00 00 70 02 40 00 c0 29 00 00
两字节段’0d 2’,表示本地端口号,转换为十进制就是3368。第二个两字节段’00 15’表示目标端口,因为我是连接FTP站点,所以,这个就是21啦,十六进制当然就是’00 15’。
接下来的四个字节“50 5f a9 06”是顺序号(Sequence Number),简写为SEQ,SEQ=1348446470下面的四个字节“00 00 00 00”是确认号(Acknowledgment Number),简写为ACKNUM。
继续两个字节,‘70 02’,转换为二进制吧,“0111 0000 0000 0010”。这两个字节,总共16bit,有好多东西呢。第一个4bit’0111’,是TCP头长,十进制为7,表示28个字节(刚才说了,我省略了8字节的option数据,所以你只看见了20字节)。接着的6bit现在TCP协议没有用上,都为0。最后的6bit“00 0010”是六个重要的标志。这是两个计算机数据交流的信息标志。接收和发送断根据这些标志来确定信息流的种类(三次握手和四次握手机制)。下面是一些介绍:
URG:(Urgent Pointer field significant)紧急指针。用到的时候值为1,用来处理避免TCP数据流中断
ACK:(Acknowledgment fieldsignificant)置1时表示确认号(AcknowledgmentNumber)为合法,为0的时候表示数据段不包含确认信息,确认号被忽略。
PSH:(Push Function),PUSH标志的数据,置1时请求的数据段在接收方得到后就可直接送到应用程序,而不必等到缓冲区满时才传送。
RST:(Reset the connection)用于复位因某种原因引起出现的错误连接,也用来拒绝非法数据和请求。如果接收到RST位时候,通常发生了某些错误。
SYN:(Synchronize sequence numbers)用来建立连接,在连接请求中,SYN=1,ACK=0,连接响应时,SYN=1,ACK=1。即,SYN和ACK来区分Connection Request和Connection Accepted。
FIN:(No more data from sender)用来释放连接,表明发送方已经没有数据发送了。
这6个标志位,自己对号入座吧。本例中SYN=1,ACK=0,当然就是表示连接请求了。我们可以注意下面两个过程的这两位的变换。
后面的“40 00 c0 29 00 00”不讲了,呵呵,偷懒了。后面两次通讯的数据,自己分开看吧。我们看看连接的过程,一些重要地方的变化。 - 第二次,web站点返回一个可以连接的信号。
216.3.226.21->192.168.1.1
IP头部: 45 00 00 2c c6 be 40 00 6a 06 cd ba d8 03 e2 15 c0 a8 01 01
TCP头部:00 15 0d 28 4b 4f 45 c1 50 5f a9 07 60 12 20 58 64 07 00 00 - 第三次,我确认连接。TCP连接建立起来。
192.168.1.1->216.3.226.21
IP头部: 45 00 00 28 52 53 40 00 80 06 2c 2a c0 a8 01 01 d8 03 e2 15
TCP头部:0d 28 00 15 50 5f a9 07 4b 4f 45 c2 50 10 40 b0 5b 1c 00 00
第一步,我发出连接请求,TCP数据为:SEQ=50 5f a9 06,ACKNUM=00 00 00 00,SYN=1,ACK=0。
第二步,对方确认可以连接,TCP数据为:SEQ=4b 4f 45 c1,ACKNUM=50 5f a9 07,SYN=1,ACK=1。
第三步,我确认建立连接。SEQ=50 5f a9 07, ACKNUM=4b 4f45c2,SYN=0,ACK=1。
可以看出什么变化么?正式建立连接了。在之后的数据传输中,携带ACK进行安全传输
接收从216.3.226.21->192.168.1.1的下一个数据包中:SEQ=4b 4f 45 c2,ACKNUM=50 5f a9 07,SYN=0,ACK=1
至此基本的分析完成,其中有很多细节需要深入理解,这里不再一一赘述。
UDP详细介绍
UDP的概述(User Datagram Protocol,用户数据报协议)
- UDP是传输层的协议,功能即为在IP的数据报服务之上增加了最基本的服务:复用和分用以及差错检测。
UDP提供不可靠服务,具有TCP所没有的优势: - UDP无连接,时间上不存在建立连接需要的时延。空间上,TCP需要在端系统中维护连接状态,需要一定的开销。此连接装入包括接收和发送缓存,拥塞控制参数和序号与确认号的参数。UCP不维护连接状态,也不跟踪这些参数,开销小。空间和时间上都具有优势。
举个例子:
DNS如果运行在TCP之上而不是UDP,那么DNS的速度将会慢很多。
HTTP使用TCP而不是UDP,是因为对于基于文本数据的Web网页来说,可靠性很重要。
同一种专用应用服务器在支持UDP时,一定能支持更多的活动客户机。 - 分组首部开销小**,TCP首部20字节,UDP首部8字节。
- UDP没有拥塞控制,应用层能够更好的控制要发送的数据和发送时间,网络中的拥塞控制也不会影响主机的发送速率。某些实时应用要求以稳定的速度发送,能容 忍一些数据的丢失,但是不能允许有较大的时延(比如实时视频,直播等)
- UDP提供尽最大努力的交付,不保证可靠交付。所有维护传输可靠性的工作需要用户在应用层来完成。没有TCP的确认机制、重传机制。如果因为网络原因没有传送到对端,UDP也不会给应用层返回错误信息
- UDP是面向报文的,对应用层交下来的报文,添加首部后直接乡下交付为IP层,既不合并,也不拆分,保留这些报文的边界。对IP层交上来UDP用户数据报,在去除首部后就原封不动地交付给上层应用进程,报文不可分割,是UDP数据报处理的最小单位。
正是因为这样,UDP显得不够灵活,不能控制读写数据的次数和数量。比如我们要发送100个字节的报文,我们调用一次sendto函数就会发送100字节,对端也需要用recvfrom函数一次性接收100字节,不能使用循环每次获取10个字节,获取十次这样的做法。 - UDP常用一次性传输比较少量数据的网络应用,如DNS,SNMP等,因为对于这些应用,若是采用TCP,为连接的创建,维护和拆除带来不小的开销。UDP也常用于多媒体应用(如IP电话,实时视频会议,流媒体等)数据的可靠传输对他们而言并不重要,TCP的拥塞控制会使他们有较大的延迟,也是不可容忍的。
UDP的首部格式
UDP数据报分为首部和用户数据部分,整个UDP数据报作为IP数据报的数据部分封装在IP数据报中,UDP数据报文结构如图所示:
中文如下:
UDP首部有8个字节,由4个字段构成,每个字段都是两个字节,
- 1.源端口: 源端口号,需要对方回信时选用,不需要时全部置0.
- 2.目的端口:目的端口号,在终点交付报文的时候需要用到。
- 3.长度:UDP的数据报的长度(包括首部和数据)其最小值为8(只有首部)
- 4.校验和:检测UDP数据报在传输中是否有错,有错则丢弃。
- 该字段是可选的,当源主机不想计算校验和,则直接令该字段全为0.
当传输层从IP层收到UDP数据报时,就根据首部中的目的端口,把UDP数据报通过相应的端口,上交给应用进程。
如果接收方UDP发现收到的报文中的目的端口号不正确(不存在对应端口号的应用进程0,),就丢弃该报文,并由ICMP发送“端口不可达”差错报文给对方。
UDP校验
在计算校验和的时候,需要在UDP数据报之前增加12字节的伪首部,伪首部并不是UDP真正的首部。只是在计算校验和,临时添加在UDP数据报的前面,得到一个临时的UDP数据报。校验和就是按照这个临时的UDP数据报计算的。伪首部既不向下传送也不向上递交,而仅仅是为了计算校验和。这样的校验和,既检查了UDP数据报,又对IP数据报的源IP地址和目的IP地址进行了检验。
UDP校验和的计算方法和IP数据报首部校验和的计算方法相似,都使用二进制反码运算求和再取反,但不同的是:IP数据报的校验和之检验IP数据报和首部,但UDP的校验和是把首部和数据部分一起校验。
发送方,首先是把全零放入校验和字段并且添加伪首部,然后把UDP数据报看成是由许多16位的子串连接起来,若UDP数据报的数据部分不是偶数个字节,则要在数据部分末尾增加一个全零字节(此字节不发送),接下来就按照二进制反码计算出这些16位字的和。将此和的二进制反码写入校验和字段。在接收方,把收到得UDP数据报加上伪首部(如果不为偶数个字节,还需要补上全零字节)后,按二进制反码计算出这些16位字的和。当无差错时其结果全为1,。否则就表明有差错出现,接收方应该丢弃这个UDP数据报。
- 注意:
1.校验时,若UDP数据报部分的长度不是偶数个字节,则需要填入一个全0字节,但是次字节和伪首部一样,是不发送的。
2.如果UDP校验和校验出UDP数据报是错误的,可以丢弃,也可以交付上层,但是要附上错误报告,告诉上层这是错误的数据报。
3.通过伪首部,不仅可以检查源端口号,目的端口号和UDP用户数据报的数据部分,还可以检查IP数据报的源IP地址和目的地址。
这种差错检验的检错能力不强,但是简单,速度快
ICMP
ICMP在这篇博客:
传输协议之ICMP详解