网络协议和管理: ***:虚拟的专有网络 感觉像一条专线,但是虚拟的
网络:网络识别通过有形或无形的媒介连接通信
网络应用程序:
Web 浏览器
即时消息:QQ,微信,钉钉
电子邮件
协作:VNC 网络会议
web网络服务:apache,nginx,IIS
文件网络服务:ftp,nfs,samba
数据库服务:MySQL, MariaDB, MongoDB
中间件服务:Tomcat,JBoss
安全服务:Netfilter
用户应用程序对网络的影响
批处理应用程序
FTP、TFTP、库存更新
无需直接人工交互
带宽很重要,但并非关键性因素
交互式应用程序
库存查询、数据库更新
人机交互
因为用户需等待响应,所以响应时间很重要,
但并非关键性因素,除非要等待很长时间
实时应用程序
VoIP、视频
人与人的交互
端到端的延时至关重要
网络的特征:
速度:bps /8 以位为单位
成本:
安全性:
可用性:
可扩展性:
可靠性:
拓扑:
物理拓扑:
总线拓扑,环状拓扑,星型拓扑
单环状:沿着一个方向传输
双环状:提高冗余性,信号沿相反方向传输
逻辑拓扑:描述了信息在网络中流动的方式
带宽:
主机到主机的通信:
OSI:模型标准
网络模型分层:
应用层:网络进程访问应用层,为应用程序进程提供网络服务,提供身份验证,http。。。
表示层:确保接受系统可以读出该数据,格式化数据,构建数据,协商用于应用层的数据传输语法,提供加密
会话层:主机间通信,应用程序之间通信
传输层:确保数据可靠的传输,建立,维护和终止虚拟电路,通过错误检测和恢复,信息流控制来保障可靠性
实现数据点对点的传输
segment:段
网络层:路由数据,选择传递数据的最佳路径,支持逻辑寻址和路径选择
逻辑地址:ip地址
package:包(packet)
数据链路层:定义如何格式化数据以便进行传输以及如何控制对网络的访问,支持错误检测,对0,1数据的组织,格式化
物理地址
frame:帧
物理层:二进制传输,高低电平。物理设备的连接电气特性,机械规范,过程规范,功能规范
bit: 位
注:每一层都有一个唯一地址
数据封装:每一层都要封装一个报头,除了物理层
数据解封:和上面正好相反
对等通信:
PDU:
PDU: Protocol Data Unit,协议数据单元是指对等层次之间传递的数据单位 物理层的 PDU是数据位 bit 数据链路层的 PDU是数据帧 frame 网络层的PDU是数据包 packet 传输层的 PDU是数据段 segment 其他更高层次的PDU是消息 message 三种通讯模式: 单播: 虽然单播,但是不代表别人收不到。 组播(多播):部分主机 广播:一定范围内的所有。
局域网:Local Area Network (LAN)
LAN组成: Computer PCs Servers Interconnections:网络连接 NICs:网卡 Media Network devices:网络设备 Hubs Switches Routers Protocols:协议 Ethernet IP ARP DHCP
网络线缆和接口:
10Base5: 10M 基带(数字), 最大传输距离500m
10BaseT: T 双绞线, 8根四对,避免电磁干扰
STP:屏蔽式双绞线
UTP:非屏蔽式双绞线
光纤:
注:以上都有最大传输距离
双绞线:100m
光纤:公里级别
UTP:
直通线:默认是1,2传,3,6 接受
交叉线:相同的设备连接,如两台电脑,连接,如果都是1,2 发送,3,6接受,就无法使用,所以A pc 1,2发送,B pc,3,6发送
中通线 使用 T568B
交叉线 使用 T568A
插头是:RJ-45 Connector
被插的是: Jack
双绞线针脚定义:
通讯术语:
单工:单向传输
全双工:可双向传输
半双工:不能同时传 --- 对讲机
LAN 标准:
Ethernet Evolution:以太网现在使用的是第二代
MAC:前三位 国际标准规定产商编号
写在ROM中,是可以改的,通过软件方式
Type:上层协议类型
Ethernet Frame 结沟: 整个以太网帧长度: 8 + 6 + 6 + 2 + (46, 1500) + 4 60- 1514 (72 - 1526)
type:指的是上层的协议类型!
数据链路层:
MAC地址:
CSMA/CD:冲突检测的载波侦听多路访问
应用在 数据链路层。 它的工作原理是: 发送数据前 先侦听信道是否空闲 ,若空闲,则立即发送数据。 若信道忙碌,则等待一段时间至信道中的信息传输结束后再发送数据; 若在上一段信息发送结束后,同时有两个或两个以上的节点都提出发送请求,则判定为冲突。 若侦听到冲突,则立即停止发送数据,等待一段随机时间,再重新尝试。
Hub:集线器
Hub:多端口中继器(信号放大器,传输更远举例)
Hub并不记忆该信息包是由哪个MAC地址发出。
Hub的特点:
共享带宽
半双工:同一时间只能一个人发
不会隔离冲突域
冲突域:
主机越多,冲突域越大
网桥(交换机):工作原理一样,有学习能力。
工作原理: 以太网桥监听数据帧中源MAC地址,学习MAC,建立MAC表 对于未知MAC 地址,网桥将转发到除接受该帧的端口之外的所有端口 当网桥接收到一个数据帧时,如果该帧的目的位与接收端口所在的网段上,他就过滤掉该数据帧,如果目的MAC 地址在位与另外一个端口,网桥就将该帧转发到该端口。 当网桥接收到广播帧时候,它立即转发到除接收端口之外的所有其他端口。
有一个内存:记录MAC 和 交换机接口对应关系
学习的是源MAC
隔离冲突域,
不能隔离广播域
Hub 和 交换机: Hub工作在物理层,交换机在 数据链路层 后者可以隔离冲突域 Hub 共享所有总线,共享宽带,网桥每个端口占一个宽带。
路由器:隔离广播域
为了实现路由,需要做以下事情:
分隔广播域
选择路由表中到达目标最好的路径
维护和检查路由信息
连接广域网
路由:把一个数据包从一个设备发送到不同网络里的另一个设备上去。这些工作依靠路由器来完成。路由器只关心网络的状态和决定网络中的最佳路径。
路由的实现依靠路由器中的路由表来完成
网卡:数据链路层MAC
VLAN:虚拟局域网
分隔广播域
安全
灵活管理
VLAN = 广播域 = 逻辑网络(Subnet)
目前使用网络标准:
wapi:国内局域网标准
wifi:国际标准
wlan:wapi + wifi + 其他无线网络协议
分层的网络架构:
TCP/IP :协议栈,很多协议,只是用来命名的
Transmission Control Protocol/Internet Protocol传输控制协议/因特网互联协议
TCP/IP是一个Protocol Stack,包括TCP、IP、UDP、ICMP、RIP、TELNET、FTP、SMTP、ARP等许多协议,最早发源于美国国防部(缩写为DoD)的因特网的前身ARPA网项目,1983年1月1日,TCP/IP取代了旧的网络控制协议NCP,成为今天的互联网和局域网的基石和标准,由互联网工程任务组负责维护,共定义了四层和ISO参考模型的分层有对应关系
四层:
应用层:
传输层
internet层
network访问层(network 包括了internet)
TCP/IP协议栈 和OSI 模型对比:
TCP & UDP 对比:
tcp:面向连接(可靠新差,效率不是很高)
序列化数据,添加数据标号的,将数据组装起来
udp
非面向连接
非序列化数据,不会添加数据编号
TCP特性:
半关闭:你可以理我,我可以不理你
工作在传输层
面向连接协议
错误检查 将数据打包成段,排序 确认机制 数据恢复,重传 流量控制,滑动窗口 拥塞控制,慢启动和拥塞避免算法
TCP包头:
源端口、目标端口:计算机上的进程要和其他进程通信是要通过计算机端口的,而一个计算机端口某个时刻只能被一个进程占用,所以通过指定源端口和目标端口,就可以知道是哪两个进程需要通信。源端口、目标端口是用16位表示的,可推算计算机的端口个数为2^16个 序列号:表示本报文段所发送数据的第一个字节的编号。在TCP连接中所传送的 字节流的每一个字节都会按顺序编号。由于序列号由32位表示,所以每2^32个 字节,就会出现序列号回绕,再次从 0 开始 确认号:表示接收方期望收到发送方下一个报文段的第一个字节数据的编号。也就是告诉发送方:我希望你(指发送方)下次发送的数据的第一个字节数据的编号为此确认号 序列号:是全局的,不是针对某个传输 对象来说的, 确认号:我希望你发11包,含义就是10 已经收到了。 ----也可以批量确认,提高效率(通过数据报文中的窗口得知,,是否批量) 窗口有固定窗口,滑动窗口
序列号:2^31
----用完了,转圈使用,还有辅助选项,比如加上时间
数据偏移:报头长度
数据偏移:表示TCP报文段的首部长度,共4位,由于TCP首部包含一个长度可变的选项部分,需要指定这个TCP报文段到底有多长。它指出 TCP 报文段的数据起始处距离 TCP 报文段的起始处有多远。该字段的单位是32位(即4个字节为计算单位),4位二进制最大表示15,所以数据偏移也就是TCP首部最大60字节 URG:表示本报文段中发送的数据是否包含紧急数据。后面的紧急指针字段(urgentpointer)只有当URG=1时才有效 ACK:表示是否前面确认号字段是否有效。只有当ACK=1时,前面的确认号字段才有效。TCP规定,连接建立后,ACK必须为1,带ACK标志的TCP报文段称为确认报文段 PSH:提示接收端应用程序应该立即从TCP接收缓冲区中读走数据,为接收后续数据腾出空间。如果为1,则表示对方应当立即把数据提交给上层应用,而不是缓存起来,如果应用程序不将接收到的数据读走,就会一直停留在TCP接收缓冲区中 网卡缓存区---》 tcp缓冲区---》应用程序缓冲区 RST:如果收到一个RST=1的报文,说明与主机的连接出现了严重错误(如主机崩溃),必须释放连接,然后再重新建立连接。或者说明上次发送给主机的数据有问题,主机拒绝响应,带RST标志的TCP报文段称为复位报文段 SYN:在建立连接时使用,用来同步序号。当SYN=1,ACK=0时,表示这是一个请求建立连接的报文段;当SYN=1,ACK=1时,表示对方同意建立连接。SYN=1,说明这是一个请求建立连接或同意建立连接的报文。只有在前两次握手中SYN才置为1,带SYN标志的TCP报文段称为同步报文段 FIN:表示通知对方本端要关闭连接了,标记数据是否发送完毕。如果FIN=1,即告诉对方:“我的数据已经发送完毕,你可以释放连接了”,带FIN标志的TCP报文段称为结束报文段 窗口大小:表示现在允许对方发送的数据量,也就是告诉对方,从本报文段的确认号开始允许对方发送的数据量,达到此值,需要ACK确认后才能再继续传送后面数据,由Window size value * Window size scaling factor(此值在三次握手阶段TCP选项Window scale协商得到)得出此值 校验和:提供额外的可靠性 紧急指针:标记紧急数据在数据字段中的位置 选项部分:其最大长度可根据TCP首部长度进行推算。TCP首部长度用4位表示,选项部分最长为:(2^4-1)*4-20=40字节 常见选项: 最大报文段长度:Maxium Segment Size,MSS,通常1460字节 窗口扩大:Window Scale 时间戳: Timestamps 网卡缓存区---》 tcp缓冲区---》应用程序缓冲区 TCP协议 PORT:
常用端口号:2^16 = 65535
0-1023:系统端口,特权端口
1024-49151:用户端口,注册端口
49152-65535:动态端口,私有端口
-- /proc/sys/net/ipv4/ip_local_port_range 查看范围
dns --> tcp 53 udp 53
SNMP --> up 161
TFTP --> udp 69
https --> tcp 443
cat /etc/servics
cmd中 --> tasklist:查看本机开启的服务
netstat -no :协议和端口号
TCP三次握手:
TCP四次断开:
有限状态机: CLOSED 没有任何连接状态 LISTEN 侦听状态,等待来自远方TCP端口的连接请求 SYN-SENT 在发送连接请求后,等待对方确认 SYN-RECEIVED 在收到和发送一个连接请求后,等待对方确认 ESTABLISHED 代表传输连接建立,双方进入数据传送状态 FIN-WAIT-1 主动关闭,主机已发送关闭连接请求,等待对方确认 FIN-WAIT-2 主动关闭,主机已收到对方关闭传输连接确认,等待对方发送关闭 传输连接请求 TIME-WAIT 完成双向传输连接关闭,等待所有分组消失 CLOSE-WAIT 被动关闭,收到对方发来的关闭连接请求,并已确认 LAST-ACK 被动关闭,等待最后一个关闭传输连接确认,并等待所有分组消失 CLOSING 双方同时尝试关闭传输连接,等待对方确认 四次断开: 客户端先发送一个FIN给服务端,自己进入了FIN_WAIT_1状态,这时等待接收 服务端的报文,该报文会有三种可能: 只有服务端的ACK 只有服务端的FIN 基于服务端的ACK,又有FIN 1、只收到服务器的ACK,客户端会进入FIN_WAIT_2状态,后续当收到服务端 的FIN时,回应发送一个ACK,会进入到TIME_WAIT状态,这个状态会持续 2MSL(TCP报文段在网络中的最大生存时间, RFC 1122标准的建议值是2min). 客户端等待2MSL,是为了当最后一个ACK丢失时,可以再发送一次。因为服务 端在等待超时后会再发送一个FIN给客户端,进而客户端知道ACK已丢失 2、只有服务端的FIN时,回应一个ACK给服务端,进入CLOSING状态,然后接 收到服务端的ACK时,进入TIME_WAIT状态 3、同时收到服务端的ACK和FIN,直接进入TIME_WAIT状态 孤儿连接:(类似孤儿进程)
处于FIN_WAIT_2状态的客户端需要等待服务器发送结束报文段,才能转移至TIME_WAIT状态,否则它将一直停留在这个状态。如果不是为了在半关闭状态下继续接收数据,连接长时间地停留在FIN_WAIT_2状态并无益处。连接停留在FIN_WAIT_2状态的情况可能发生在:客户端执行半关闭后,未等服务器关闭连接就强行退出了。此时客户端连接由内核来接管,可称之为孤儿连接(和孤儿进程类似) Linux为了防止 孤儿连接长时间存留在内核中,定义了两个内核参数: /proc/sys/net/ipv4/tcp_max_orphans:指定内核能够接管的孤儿连接数目 /proc/sys/net/ipv4/tcp_fin_timeout:指定孤儿连接在内核中生存的时间
半链接,完全链接: sync:半连接队列,未完成连接队列,三次握手次数是有限制的。也就是三次握手没有完成。 accept:全连接队列
ss -tnl
/proc/sys/net/ipv4/tcp_max_syn_backlog 未完成连接队列大小,建议调整大小为1024以上
/proc/sys/net/core/somaxconn 完成连接队列大小,建议调整为1024以上
TCP超时重传:
网络异常(开始出现超时或丢包),TCP 控制 数据传输以保证其承诺的可靠服务,
TCP服务必须能够重传超时时间内未收到确认的TCP报文段。为此,TCP模块为每个TCP报文段都维护一个重传定时器,该定时器在TCP报文段第一次被发送时启动。如果超时时间内未收到接收方的应答,TCP模块将重传TCP报文段并重置定时器。至于下次重传的超时时间如何选择,以及最多执行多少次重传,就是TCP的重传策略
与TCP 超时重传相关的两个内核参数:
/proc/sys/net/ipv4/tcp_retries1:指定在底层IP接管之前TCP最少执行的重传次数,默认是3
/proc/sys/net/ipv4/tcp_retries2:指定连接放弃前 TCP 最多可以执行的重传次数,默认15(一般对应13-30min)
TCP 确认:
可以看到,收到一个报文,确认一次,这样效率很低,所以TCP报头提供了窗口
固定窗口:
滑动窗口:不固定,与双方主机性能有关
拥塞控制: 网络中的带宽、交换结点中的缓存和处理机等,都是网络的资源。在某段时间,若对网络中某一资源的需求超过了该资源所能提供的可承受的能力,网络的性能就会变坏。此情况称为拥塞 TCP为提高网络利用率,降低丢包率,并保证网络资源对每条数据流的公平性。即所谓的拥塞控制 TCP拥塞控制的标准文档是RFC 5681,其中详细介绍了拥塞控制的四个部分:慢启动(slow start)、拥塞避免(congestion avoidance)、快速重传(fastretransmit)和快速恢复(fast recovery)。拥塞控制算法在Linux下有多种实现,比如reno算法、vegas算法和cubic算法等。它们或者部分或者全部实现了上述四个部分 当前所使用的拥塞控制算法: /proc/sys/net/ipv4/tcp_congestion_control
UPD协议:
特性:
工作在传输层
提供不可靠的网络访问
非面向连接协议:不关心发送的数据是否到达对方
有限的错误检查
传输性能高
无数据恢复特性
局域网中,比较稳定
UDP包头:
Internet层:
ICMP:ping
ARP广播:地址解析协议
第一次通讯类似交换机,记住对方MAC
第二次则直接读缓存即可
arp -n 可以查看ARP表。 ip neigh
免费arp:还没有通讯,就提示ip冲突 ---- win上测试
ARP病毒,就是冒充别人的 IP ,进而冒充别人的MAC 地址
如果出现冲突:
arping -I eth1 192.168.112.110
查看冲突后的mac,通过mac在找交互机上的缓存表,找到具体的机器
RARP :ip---》 mac
IP PDU 报头:
固定长度也是 20个字节 4* 5
标识:数据报文来自哪个同一的包,每个小包来自哪个大包。
片偏移:来自同一个大包的第几个小包
标志:后两位有意思 DF:为0:分片 MF:为1:后面还有分片, 为 0 ,最后一个分片 抓数据包测试:ping -s 3500 192.168.112.112 按照以太网帧1500的话,分三片 ttl:生命周期,默认64,通过一个减 1 /roc/sys/net/ipv4/ip_default_ttl ttl值 cmd--> tracert www.baidu.com 查看路由 协议:上层协议类型: /etc/protocols 查看
Internet 协议特征: 运行与OSI 网络层 面向无连接的协议 独立处理数据包 分层编址 尽力而为传输 无数据恢复功能
ping ip地址:另类做法:
IP地址:
网路 ID
主机 ID
A: 8位网络ID 0
0-127.x.y.z
除去0,127 ,所以 1-126
10.x.y.z 2^24-2
10.0.0.0 10网段ID
10.1.1.1 10网段的广播地址
B: 16位网络ID 10
128-191.x.y.z
C: 24位网络ID 110
192-223.x.y.z
D: 1110 多播地址,不能配置
一个网段中最多的主机数:
2^主机ID位-2
公共IP地址:
私有地址:
特殊地址: 0.0.0.0 0.0.0.0不是一个真正意义上的IP地址。它表示所有不清楚的主机和目的网络 255.255.255.255 限制广播地址。对本机来说,这个地址指本网段内(同一广播域)的所有主机 127.0.0.1~127.255.255.254 本机回环地址,主要用于测试。在传输介质上永远不应该出现目的地址为 “127.0.0.1”的 数据包 224.0.0.0到239.255.255.255 组播地址,224.0.0.1特指所有主机,224.0.0.2特指所有路由器。224.0.0.5指OSPF 路由器,地址多用于一些特定的程序以及多媒体程序 169.254.x.x 如果Windows主机使用了DHCP自动分配IP地址,而又无法从DHCP服务器获取地 址,系统会为主机分配这样地址
特殊的dns 114.114.114.114 国内 8.8.8.8 google 0.0.0.0 澳大利亚 223.5.5.5 阿里提供dns