西鼠的博客_自动化运维,操作系统,其他系统运维,服务器&存储,Bash编程,Python编程,负载均衡

分布式一致性协议-Raft协议

1、Raft包含的模块Raft协议分成3个部分来增加可理解性，分别是领导人选举、日志复制和安全性。领导人选举：Raft协议规定集群中必须有且只有一个领导者，客户端所有的读写请求最终都是发给领导人来处理的。在没有领导人的情况下，集群不对外提供服务。所以领导人选举是首要要解决的问题。日志复制：一致性算法是从复制状态机的背景下提出的，复制状态机通常都是基于复制日志实现的。在整个集群中，通过日志按顺序执行

数据

状态机

zookeeper

原创 2021-12-31 11:09:47 822 阅读

网卡 offload

随着单台服务器集成的计算能力的增长，服务器的带宽需求也同步提升，从10M到 100G，服务器的网络带宽提升速率远大于CPU的计算能力的增长速率。操作系统协议栈需要通过CPU来实现上层数据的封装和解封装，于是CPU的处理能力成为了网络传输能力的瓶颈。将由CPU处理的数据报文的分段、分片、校验等工作，交给网卡驱动来处理以降低CPU负担的相关技术（这里我们简称为网卡“offload特性”），是

服务器

网卡驱动

数据

原创 2021-12-30 19:47:05 1574 阅读

#2021年底大盘点#IO多路复用 select/poll/epoll

select，poll，epoll都是IO多路复用的机制。I/O多路复用就是通过一种机制，一个进程可以监视多个描述符，一旦某个描述符就绪（一般是读就绪或者写就绪），能够通知程序进行相应的读写操作。但select，poll，epoll本质上都是同步I/O，因为他们都需要在读写事件就绪后自己负责进行读写，也就是说这个读写过程是阻塞的，而异步I/O则无需自己负责进行读写，异步I/O的实现会负责把数据从内

描述符

文件描述符

多路复用

原创 2021-12-30 19:27:17 299 阅读

#2021年底大盘点# 常见的IO模式

1、IO模式对于一次IO访问（以read举例），数据会先被拷贝到操作系统内核的缓冲区中，然后才会从操作系统内核的缓冲区拷贝到应用程序的地址空间。所以说，当一个read操作发生时，它会经历两个阶段：等待数据准备 (Waiting for the data to be ready)将数据从内核拷贝到进程中 (Copying the data from the kernel to the process

数据

多路复用

用户内存

原创 2021-12-30 19:20:05 306 阅读

#2021年底大盘点#Linux 的 IO 模式基础知识

思考一个基本的问题：如果有一台服务器，需要响应大量的请求，操作系统如何去架构以适应这样高并发的诉求。说到架构，就离不开操作系统提供给应用程序的系统调用。我们今天要介绍的 select/poll/epoll 刚好是操作系统提供给应用的三类处理 I/O 的系统调用。这三类系统调用有非常强的代表性，这一讲我会围绕它们，以及处理并发和 I/O 多路复用，为你讲解操作系统的 I/O 模型。1、从网卡到操作系

数据

客户端

服务端

原创 2021-12-29 13:05:41 198 阅读

#2021年底大盘点#UDP 和 TCP 比较

1、可靠性首先我们比较一下这两个协议在可靠性（Reliablility）上的区别。如果一个网络协议是可靠的，那么它能够保证数据被无损地传送到目的地。当应用的设计者选择一个具有可靠性的协议时，通常意味着这个应用不能容忍数据在传输过程中被损坏。比如说一个视频直播服务，如果在传输过程当中，视频图像发生了一定的损坏，用户看到的只是某几个像素、颜色不准确了，或者某几帧视频丢失了——这对用户来说是可以容忍的。

数据

校验和

三次握手

原创 2021-12-28 18:53:26 271 阅读

#2021年底大盘点#TCPIP协议-多路复用

1、协议的分层对于多数的应用和用户而言，使用互联网的一个基本要求就是数据可以无损地到达。用户通过应用进行网络通信，应用启动之后就变成了进程。因此，所有网络通信的本质目标就是进程间通信。世界上有很多进程需要通信，我们要找到一种通用的，每个进程都能认可和接受的通信方式，这就是协议。应用层从分层架构上看，应用工作在应用层（Application Layer）。应用的功能，都在应用层实现。所以应用层很好理

传输层

多路复用

网络层

原创 2021-12-28 18:41:35 879 阅读

#2021年底大盘点#分布式文件系统

1、存储所有的网页作为搜索引擎最核心的一个能力，就是要存储所有的网页。目前世界上有 20 多亿个网站，每个网站还有大量的页面。搜索引擎不单单要存下这些页面，而且搜索引擎还需要存储这些网页的历史版本。那么，网站所有页面加起来有多大？举个例子，豆瓣所有页面加起来会有多大？如果把所有的变更都算上，比如一张页面经过 200 次迭代，就存 200 份，那么需要多少空间？Google 要把这些数据都存储下来，

数据

客户端

外链

原创 2021-12-28 18:34:09 130 阅读

#2021年底大盘点#分布式文件系统

1、存储所有的网页作为搜索引擎最核心的一个能力，就是要存储所有的网页。目前世界上有 20 多亿个网站，每个网站还有大量的页面。搜索引擎不单单要存下这些页面，而且搜索引擎还需要存储这些网页的历史版本。那么，网站所有页面加起来有多大？举个例子，豆瓣所有页面加起来会有多大？如果把所有的变更都算上，比如一张页面经过 200 次迭代，就存 200 份，那么需要多少空间？Google 要把这些数据都存储下来，

数据

客户端

外链

原创 2021-12-28 18:34:08 92 阅读

#2021年底大盘点#FAT、NTFS 和 Ext3的区别

在了解文件系统实现之前，我们先来了解下操作系统如何使用硬盘。1、硬盘分块使用硬盘和使用内存有一个很大的区别，内存可以支持到字节级别的随机存取，而这种情况在硬盘中通常是不支持的。过去的机械硬盘内部是一个柱状结构，有扇区、柱面等。读取硬盘数据要转动物理的磁头，每转动一次磁头时间开销都很大，因此一次只读取一两个字节的数据，非常不划算。随着 SSD 的出现，机械硬盘开始逐渐消失（还没有完全结束），现在的固

数据

文件系统

软链接

原创 2021-12-27 17:57:53 1029 阅读

#2021年底大盘点#Linux 下的各个目录的作用

Linux 所有的文件都建立在虚拟文件系统（Virtual File System ，VFS）之上，如下图所示：当你访问一个目录或者文件，虽然用的是 Linux 标准的文件 API 对文件进行操作，但实际操作的可能是磁盘、内存、网络或者数据库等。因此，Linux 上不同的目录可能是不同的磁盘，不同的文件可能是不同的设备。1、分区结构在 Linux 中，/是根目录。每个目录可以是不同的文件系

文件系统

linux

数据

原创 2021-12-27 17:27:16 134 阅读

#2021年底大盘点#CPU、GPU、TPU、DPU的区别

1、CPUCPU应该是大家最常见的处理器。主要包括运算器（ALU, Arithmetic and Logic Unit）和控制单元（CU, Control Unit），除此之外还包括若干寄存器、高速缓存器和它们之间通讯的数据、控制及状态的总线。CPU遵循的是冯诺依曼架构，即存储程序、顺序执行。一条指令在CPU中执行的过程是：读取到指令后，通过指令总线送到控制器中进行译码，并发出相应的操作控制信号。

数据

人工智能

指令集

原创 2021-12-26 22:21:23 1136 阅读 1评论

思考：我的服务应该开多少个进程、多少个线程？

1、计算密集型和 I/O 密集型通常我们会遇到两种任务，一种是计算、一种是 I/O。计算，就是利用 CPU 处理算数运算。比如深度神经网络（Deep Neural Networks），需要大量的计算来计算神经元的激活和传播。再比如，根据营销规则计算订单价格，虽然每一个订单只需要少量的计算，但是在并发高的时候，所有订单累计加起来就需要大量计算。如果一个应用的主要开销在计算上，我们称为计算密集型。再看

数据

node.js

复用

原创 2021-12-25 19:59:56 520 阅读

进程间的通信方法

1、什么是进程间通信？进程间通信（Intermediate Process Communication，IPC）。所谓通信就是交换数据。所以，狭义地说，就是操作系统创建的进程们之间在交换数据。我们今天不仅讨论狭义的通信，还要讨论 IPC 更广泛的意义——程序间的通信。程序可以是进程，可以是线程，可以是一个进程的两个部分（进程自己发送给自己），也可以是分布式的——总之，今天讨论的是广义的交换数据

服务端

数据

客户端

原创 2021-12-24 20:00:25 156 阅读

#2021年底大盘点#线程调度的方法

1、什么是调度所谓调度，是一个制定计划的过程，放在线程调度背景下，就是操作系统如何决定未来执行哪些线程？2、先到先服务（FCFS）早期的操作系统是一个个处理作业（Job），比如很多保险业务，每处理一个称为一个作业（Job）。处理作业最容易想到的就是先到先服务（First Come First Service，FCFS），也就是先到的作业先被计算，后到的作业，排队进行。这里需要用到一个叫作队列的数据

优先级

优先级队列

时间片

原创 2021-12-23 18:48:37 258 阅读

#2021年底大盘点#锁

要想弄清楚锁，就要弄清楚锁的实现，实现锁需要底层提供的原子操作，因此我们先来学习下原子操作。1、原子操作原子操作就是操作不可分。在多线程环境，一个原子操作的执行过程无法被中断。比如i++就不是一个原子操作，因为它是 3 个原子操作组合而成的：读取 i 的值；计算 i+1；写入新的值。像这样的操作，在多线程 + 多核环境会造成竞争条件。2、竞争条件竞争条件就是说多个线程对一个资源（内存地址）

临界区

原子操作

内存地址

原创 2021-12-22 21:55:07 200 阅读

#2021年底大盘点#linux启动过程

1、加载BIOS当你打开计算机电源，计算机会首先加载BIOS信息，BIOS信息是如此的重要，以至于计算机必须在最开始就找到它。这是因为BIOS中包含了CPU的相关信息、设备启动顺序信息、硬盘信息、内存信息、时钟信息、PnP特性等等。在此之后，计算机心里就有谱了，知道应该去读取哪个硬件设备了。2、读取MBR众所周知，硬盘上第0磁道第一个扇区被称为MBR，也就是Master Boot Record，即

linux

初始化

ios

原创 2021-12-21 23:10:10 147 阅读

#2021年底大盘点#进程和线程

1、进程线程概念进程（Process），顾名思义就是正在执行的应用程序，是软件的执行副本。而线程是轻量级的进程。进程是分配资源的基础单位。线程是程序执行的基本单位。2、分时和调度因为通常机器中 CPU 核心数量少（从几个到几十个）、进程&线程数量很多（从几十到几百甚至更多），你可以类比为发动机少，而机器多，因此进程们在操作系统中只能排着队一个个执行。每个进程在执行时都会获得操作系统分配的一

时间片

寄存器

数据

原创 2021-12-20 22:01:42 349 阅读

#2021年底大盘点#网卡多队列

1、什么是中断X86体系结构的计算机采用中断机制来协同处理器与其他设备的工作。中断本质上是一种电信号，由硬件设备生成，送入中断控制器的输入引脚中。中断控制器(如8259A)是个简单的电子芯片，将多路中断管线，采用复用技术只通过一个和处理器连接的管线和处理器通信。一个设备需要与处理器通信时，就会向处理器发出一个中断信号。例如敲击键盘时，键盘就会产生一个中断，通知操作系统有键被按下。在响应一个中断时，

数据

软中断

中断处理

原创 2021-12-19 21:14:25 1294 阅读

#2021年底大盘点#内核态和用户态

一、什么是用户态和内核态Kernel 运行在超级权限模式（Supervisor Mode）下，所以拥有很高的权限。按照权限管理的原则，多数应用程序应该运行在最小权限下。因此，很多操作系统，将内存分成了两个区域：内核空间（Kernal Space），这个空间只有内核程序可以访问；用户空间（User Space），这部分内存专门给应用程序使用；用户态和内核态：用户空间中的代码被限制了只能使用一个局部的

用户态

内核态

系统调用

原创 2021-12-18 22:10:22 229 阅读

#2021年底大盘点#机器启动方式

作为传统BIOS的继任者，UEFI拥有前辈所不具备的诸多功能，比如图形化界面、多种多样的操作方式、允许植入硬件驱动等等。这些特性让UEFI相比于传统BIOS更加易用、更加多功能、更加方便。而Windows 8在发布之初就对外宣布全面支持UEFI，这也促使了众多主板厂商纷纷转投UEFI，并将此作为主板的标准配置之一。UEFI抛去了传统BIOS需要

ios

加载

文件系统

原创 2021-12-17 18:30:11 168 阅读

#2021年底大盘点#内存（下）

3、操作系统是如何管理虚拟地址与物理内存地址之间关系主要有三种方式，分别是分段、分页、段页，下面我们来看看这三种内存管理方式3.1 内存分段程序包含若干个逻辑分段，如可由代码段、数据段、栈段、堆段组成，每个分段都有不同的属性，所以内存以分段的形式把这些段分离出来进行管理问：在内存分段方式下，虚拟地址和物理地址是如何映射的？分段管理下的虚拟地址由两部分组成，段号和段内偏移量。通过段号映射段

页表

内存碎片

物理内存

原创 2021-12-16 14:36:34 210 阅读

#2021年底大盘点#内存（上）

1、什么是内存内存(Memory)是计算机的重要部件之一，也称内存储器和主存储器，它用于暂时存放CPU中的运算数据，与硬盘等外部存储器交换的数据。它是外存与CPU进行沟通的桥梁，计算机中所有程序的运行都在内存中进行，内存性能的强弱影响计算机整体发挥的水平。只要计算机开始运行，操作系统就会把需要运算的数据从内存调到CPU中进行运算，当运算完成，CPU将结果传送出来。内存的运行决定了计算机整体运行快慢

虚拟地址

数据

地址空间

原创 2021-12-15 10:27:44 187 阅读

#2021年底大盘点# 进程线程

一、进程和线程一个应用程序启动后会在内存中创建一个执行副本，这就是进程。PS：Linux 的内核是一个 Monolithic Kernel（宏内核），因此可以看作一个进程。也就是开机的时候，磁盘的内核镜像被导入内存作为一个执行副本，成为内核进程。进程可以分成用户态进程和内核态进程两类。用户态进程通常是应用程序的副本，内核态进程就是内核本身的进程。如果用户态进程需要申请资源，比如内存，可以通过系统调

用户态

内核态

系统调用

原创 2021-12-14 10:47:01 194 阅读

#2021年底大盘点# 处理器架构

中央处理单元(CPU)主要由运算器、控制器、寄存器三部分组成，从字面意思看运算器就是起着运算的作用，控制器就是负责发出CPU每条指令所需要的信息，寄存器就是保存运算或者指令的一些临时文件，这样可以保证更高的速度。CPU有着处理指令、执行操作、控制时间、处理数据四大作用，打个比喻来说，CPU就像我们的大脑，帮我们完成各种各样的生理活动。因此如果没有 CPU，那么电脑就是一堆废物，无法工作。移动设备其

精简指令

嵌入式

指令集

原创 2021-12-13 20:37:54 388 阅读

#2021年底大盘点# 批量管理工具PSSH

使用pssh的前提是：必须在本机与其他客户机上配置好密钥认证访问（即ssh无秘钥登录信任关系）pssh提供OpenSSH和相关工具的并行版本，包括pssh，pscp，prsync，pnuke和pslurp。该项目包括psshlib，可以在自定义应用程序中使用。pssh是python写的可以并发在多台机器上批量执行命令的工具，它的用法可以媲美ansible的一些简单用法，执行起来速度比ansible

远程服务器

批量上传

批量下载

当前目录

本地文件

原创 2021-12-10 14:41:38 250 阅读

3、操作系统内核

一、什么是内核内核是操作系统中应用连接硬件设备的桥梁二、内核有什么作用对于一个现代的操作系统来说，它的内核至少应该提供以下 4 种基本能力：管理进程、线程（决定哪个进程、线程使用 CPU）；管理内存（决定内存用来做什么）；连接硬件设备（为进程、和设备间提供通信能力）；提供系统调用（接收进程发送来的系统调用）。三、Linux的设计Multitask and SMP（Symmetric multipr

linux

微内核

可执行文件

多任务

文件系统

原创 2021-12-09 21:11:46 449 阅读

2、冯·诺依曼体系结构

一、冯·诺依曼体系结构概述数学家冯·诺依曼提出了计算机制造的三个基本原则（采用二进制、程序存储、顺序执行），以及计算机的五个组成部分（运算器、控制器、存储器、输入设备、输出设备），这套理论被称为冯·诺依曼体系结构，根据这一原理制造的计算机被称为冯·诺依曼结构计算机。冯·诺依曼最先提出程序存储的思想，并成功将其运用在计算机的设计之中。冯·诺伊曼体系结构是现代计算机的基础，现在大多计算机仍是冯·诺伊曼

数据

体系结构

原始数据

工作原理

程序存储

原创 2021-12-08 23:53:17 2105 阅读

1、二、八、十、十六进制转换

下面是二、八、十、十六进制之间关系的结构图：1、二、八、十六进制 → 十进制1.1 二进制 → 十进制方法：二进制数从低位到高位（即从右往左）计算，第0位的权值是2的0次方，第1位的权值是2的1次方，第2位的权值是2的2次方，依次递增下去，把最后的结果相加的值就是十进制的值了。例：将二进制的(101011)B转换为十进制的步骤如下：1. 第0位 1 x 2^0 = 1；2. 第1位 1

十六进制

八进制

十进制

权值

二进制数

原创 2021-12-07 21:41:47 1206 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

沐梓琼

分布式一致性协议-Raft协议

网卡 offload

#2021年底大盘点#IO多路复用 select/poll/epoll

#2021年底大盘点# 常见的IO模式

#2021年底大盘点#Linux 的 IO 模式基础知识

#2021年底大盘点#UDP 和 TCP 比较

#2021年底大盘点#TCPIP协议-多路复用

#2021年底大盘点#分布式文件系统

#2021年底大盘点#分布式文件系统

#2021年底大盘点#FAT、NTFS 和 Ext3的区别

#2021年底大盘点#Linux 下的各个目录的作用

#2021年底大盘点#CPU、GPU、TPU、DPU的区别

思考：我的服务应该开多少个进程、多少个线程？

进程间的通信方法

#2021年底大盘点#线程调度的方法

#2021年底大盘点#锁

#2021年底大盘点#linux启动过程

#2021年底大盘点#进程和线程

#2021年底大盘点#网卡多队列

#2021年底大盘点#内核态和用户态

#2021年底大盘点#机器启动方式

#2021年底大盘点#内存（下）

#2021年底大盘点#内存（上）

#2021年底大盘点# 进程线程

#2021年底大盘点# 处理器架构

#2021年底大盘点# 批量管理工具PSSH

3、操作系统内核

2、冯·诺依曼体系结构

1、二、八、十、十六进制转换