文件系统（一）

文件系统

文件系统：提供一种对操作系统和计算机系统所有用户的数据和数据的存储和随机访问。

• 文件
• 目录

文件

• 定义：一组有结构的信息集合

• 用户观点：有逻辑结构的（逻辑结构）
• 系统观点：一堆二进制（物理结构）
• 逻辑结构<--->物理结构

• 属性

• 文件名：按名存取
• 扩展名：识别文件类型
• 日期和时间
• 大小
• 位置（目录的路径Path）
• 用户属性:

• Owner
• Group
• Other

• 访问控制属性

• Read
• Write
• Execute

目录

• 作用：一种保存文件控制信息的数据结构

• 列出所有的文件
• 增加
• 删除
• 更名

• Directory

• entry:file meta-data(原数据)

文件类型

文本文件：ASCII码组成的文件

二进制可执行文件：./a.out

磁盘高级格式化

低级格式化：划分磁盘和扇区-->每个磁盘上的扇区数是相等的

• 磁道track
• 扇区sector /block

高级格式化：构建一个文件系统（一组数据结构）

• 分区表：划分磁盘-->partitions
• 目录

文件系统实现

操作系统中管理磁盘的软件通常称为文件系统，因为它可以可靠高效的方式，将用户创建的任何文件（file）存储在系统的磁盘上。

ASSERT ()是一个调试程序时经常使用的宏，在程序运行时它计算括号内的表达式，如果表达式为FALSE (0), 程序将报告错误，并终止执行。 如果表达式不为0，则继续执行后面的语句。 这个宏通常用来判断程序中是否出现了明显非法的数据，如果出现了终止程序以免导致严重后果，同时也便于查找错误。

文件系统是纯软件。

简单文件系统VSFS(Very Simple File System)，也叫虚拟文件系统，是一个倒置的树状结构。其中根目录是整个树的根。

Linux文件管理从用户的层面介绍了Linux管理文件的方式。Linux有一个树状结构来组织文件。树的顶端为根目录(/)，节点为目录，而末端的叶子为包含数据的文件。当我们给出一个文件的完整路径时，我们从根目录出发，经过沿途各个目录，最终到达文件。

我们可以对文件进行许多操作，比如打开和读写。在Linux文件管理相关命令中，我们看到许多对文件进行操作的命令。它们大都基于对文件的打开和读写操作。比如cat可以打开文件，读取数据，最后在终端显示：

cat test.txt

对于Linux下的程序员来说，了解文件系统的底层组织方式，是深入进行系统编程所必备的。即使是普通的Linux用户，也可以根据相关的内容，设计出更好的系统维护方案。

存储设备分区

文件系统的最终目的是把大量数据有组织的放入持久性(persistant)的存储设备中，比如硬盘和磁盘。这些存储设备与内存不同。它们的存储能力具有持久性，不会因为断电而消失；存储量大，但读取速度慢。

观察常见存储设备。最开始的区域是MBR，用于Linux开机启动(参考Linux开机启动)。剩余的空间可能分成数个分区(partition)。每个分区有一个相关的分区表(Partition table)，记录分区的相关信息。这个分区表是储存在分区之外的。分区表说明了对应分区的起始位置和分区的大小。

我们在Windows系统常常看到C分区、D分区等。Linux系统下也可以有多个分区，但都被挂载在同一个文件系统树上。

数据被存入到某个分区中。一个典型的Linux分区(partition)包含有下面各个部分:

分区的第一个部分是启动区(Boot block)，它主要是为计算机开机服务的。Linux开机启动后，会首先载入MBR，随后MBR从某个硬盘的启动区加载程序。该程序负责进一步的操作系统的加载和启动。为了方便管理，即使某个分区中没有安装操作系统，Linux也会在该分区预留启动区。

启动区之后的是超级区(Super block)。它存储有文件系统的相关信息，包括文件系统的类型，inode的数目，数据块的数目。

随后是多个inodes，它们是实现文件存储的关键。在Linux系统中，一个文件可以分成几个数据块存储，就好像是分散在各地的龙珠一样。为了顺利的收集齐龙珠，我们需要一个“雷达”的指引：该文件对应的inode。每个文件对应一个inode。这个inode中包含多个指针，指向属于该文件各个数据块。当操作系统需要读取文件时，只需要对应inode的"地图"，收集起分散的数据块，就可以收获我们的文件了。

最后一部分，就是真正储存数据的数据块们(data blocks)了。

inode简介

上面我们看到了存储设备的宏观结构。我们要深入到分区的结构，特别是文件在分区中的存储方式。文件是文件系统对数据的分割单元。文件系统用目录来组织文件，赋予文件以上下分级的结构。在硬盘上实现这一分级结构的关键，是使用inode来虚拟普通文件和目录文件对象。

在Linux文件管理中，我们知道，一个文件除了自身的数据之外，还有一个附属信息，即文件的元数据(metadata)。这个元数据用于记录文件的许多信息，比如文件大小，拥有人，所属的组，修改日期等等。元数据并不包含在文件的数据中，而是由操作系统维护的。事实上，这个所谓的元数据就包含在inode中。我们可以用"ls -l filename"来查看这些元数据。正如我们上面看到的，inode所占据的区域与数据块的区域不同。每个inode有一个唯一的整数编号(inode number)表示。

在保存元数据，inode是“文件”从抽象到具体的关键。正如上一节中提到的，inode储存由一些指针，这些指针指向存储设备中的一些数据块，文件的内容就储存在这些数据块中。当Linux想要打开一个文件时，只需要找到文件对应的inode，然后沿着指针，将所有的数据块收集起来，就可以在内存中组成一个文件的数据了。

inode并不是组织文件的唯一方式。最简单的组织文件的方法，是把文件依次顺序的放入存储设备，DVD就采取了类似的方式。但如果有删除操作，删除造成的空余空间夹杂在正常文件之间，很难利用和管理。

复杂的方式可以使用链表，每个数据块都有一个指针，指向属于同一文件的下一个数据块。这样的好处是可以利用零散的空余空间，坏处是对文件的操作必须按照线性方式进行。如果想随机存取，那么必须遍历链表，直到目标位置。由于这一遍历不是在内存进行，所以速度很慢。

FAT系统是将上面链表的指针取出，放入到内存的一个数组中。这样，FAT可以根据内存的索引，迅速的找到一个文件。这样做的主要问题是，索引数组的大小与数据块的总数相同。因此，存储设备很大的话，这个索引数组会比较大。

inode既可以充分利用空间，在内存占据空间不与存储设备相关，解决了上面的问题。但inode也有自己的问题。每个inode能够存储的数据块指针总数是固定的。如果一个文件需要的数据块超过这一总数，inode需要额外的空间来存储多出来的指针。

inode示例

在Linux中，我们通过解析路径，根据沿途的目录文件来找到某个文件。目录中的条目除了所包含的文件名，还有对应的inode编号。当我们输入$cat /var/test.txt时，Linux将在根目录文件中找到var这个目录文件的inode编号，然后根据inode合成var的数据。随后，根据var中的记录，找到text.txt的inode编号，沿着inode中的指针，收集数据块，合成text.txt的数据。整个过程中，我们参考了三个inode：根目录文件，var目录文件，text.txt文件的inodes。

在Linux下，可以使用"stat filename"，来查询某个文件对应的inode编号。

在存储设备上实际上存储为：

文件共享

• 
  

• 文件：信息的逻辑存储单位。

• 
  

• 在用户来看，文件是具有结构的信息集合；
• 在系统来看，文件的本质是存储在外存当中的二进制集合；

  文件是“按名存取”

在Linux的进程中，当我们打开一个文件时，返回的是一个文件描述符。这个文件描述符是一个数组的下标，对应数组元素为一个指针。实际上这个指针并没有直接指向文件的inode，而是指向了一个文件表格，再通过该表格，指向加载到内存中的目标文件的inode。如下图，一个进程打开了两个文件。

可以看到，每个文件表格中记录了文件打开的状态(status flags)，比如只读，写入等，还记录了每个文件的当前读写位置(offset)。当有两个进程打开同一个文件时，可以有两个文件表格，每个文件表格对应的打开状态和当前位置不同，从而支持一些文件共享的操作，比如同时读取。

文件系统的IO包括:

• 同步IO/异步IO
• 阻塞IO/非阻塞IO
• Direct IO

Direct IO

Direct IO：无缓冲IO，裸IO(rawIO)，无缓冲IO对文件进行读写，不会经过OS Cache。

通常，我们使用的文件流读取、内存映射都属于Cache IO，因为将数据写入文件，首先会写入cache，最终再落盘到IO device 或者称为 disk上。cache IO使得我们在写入、读取（预读取、顺序读取等特性）文件数据的时候，性能得以提升，能够从cache(内存)中读取数据。

直接IO，则是直接将数据写入文件、或者从文件中读取出来，绕过了cache，这使得看起来性能没那么好，但是，仔细分析，无论哪种IO方式，最终数据都必须落盘，而两种的区别在于有无OS cache。

OS cache提供的预读取、顺序读取等特性，这些特性并不适用于所有的场景，比如数据库，数据库通常都有自己的一套缓存机制，就像mysql的innodb存储引擎，它有自己的缓存页，有自己的落盘机制，如果不使用direct IO，这明显就会存在双重的cache，一个是OS设计的，一个是DB设计的，而通常，DB需要更加符合自己使用的cache机制，而非OS提供的通用化的缓存机制。

同步/异步：

• 同步，就是在发出一个调用时，在没有得到结果之前， 该调用就不返回。
• 异步则是相反，调用在发出之后，这个调用就直接返回了，所以没有返回结果。内核在处理完事件之后，会主动将结果写到缓冲区中，然后用某种方法（信号等）通知线程来，然后线程来到缓冲区取数据。得到结果之前，该调用不会阻塞当前线程。以轮询的形式进行访问。

阻塞/非阻塞：

阻塞/非阻塞关注的是程序在等待调用结果（消息，返回值）时的状态。

• 阻塞调用是指调用结果返回之前，当前线程会被挂起。调用线程只有在得到结果之后才会返回。
• 非阻塞调用指在不能立刻 同步/异步关注的是消息通信机制 (synchronous communication/ asynchronous communication) 。

​

Linux 中 ext、ext2、ext3、ext4 文件系统介绍与区别

文件系统名称	介绍	特点	优势
ext	第一代扩展文件系统， 于1992年4月发表，是为Linux核心所做的第一个文件系统。采用Unix文件系统（UFS）的元数据结构，以克服MINIX文件系统性能不佳的问题。	它是Linux上第一个 利用虚拟文件系统实现的文件系统。	克服MINIX文件系统性能不佳的问题。
ext2	第二代扩展文件系统 是Linux内核所用的文件系统。它开始由Rémy Card设计，用以代替ext，于1993年1月加入Linux核心支持之中。ext2 的经典实现为Linux内核中的ext2fs文件系统驱动，最大可支持2TB的文件系统，到Linux核心2.6版时，扩展至可支持32TB。	在ext2文件系统中，文件由inode（包含有文件的所有信息）进行唯一标识。一个文件可能对应多个文件名，只有在所有文件名都被删除后，该文件才会被删除。此外，同一文件在磁盘中存放和被打开时所对应的inode是不同的，并由内核负责同步。	文件系统高效稳定。
ext3	ext3是第三代扩展文件系统（英语：Third extended filesystem，缩写为ext3）。	ext3文件系统是直接从ext2文件系统发展而来，目前ext3文件系统已经非常稳定可靠。它完全兼容ext2文件系统。用户可以平滑地过渡到一个日志功能健全的文件系统中来。	1、高可用性：系统使用了ext3文件系统后，即使在非正常关机后，系统也不需要检查文件系统。 2、数据的完整性：避免了意外宕机对文件系统的破坏。 3、文件系统的速度：因为ext3的日志功能对磁盘的驱动器读写头进行了优化。所以，文件系统的读写性能较之Ext2文件系统并来说，性能并没有降低。 4、数据转换 ：“由ext2文件系统转换成ext3文件系统非常容易。 5、多种日志模式。
ext4	ext4是第四代扩展文件系统是Linux系统下的日志文件系统，是ext3文件系统的后继版本。Ext4是由Ext3的维护者Theodore Tso领导的开发团队实现的，并引入到Linux2.6.19内核中。	Ext4是Ext3的改进版，修改了Ext3中部分重要的数据结构，而不仅仅像Ext3对Ext2那样，只是增加了一个日志功能而已。Ext4可以提供更佳的性能和可靠性，还有更为丰富的功能	1、与Ext3兼容：执行若干条命令，就能从Ext3在线迁移到Ext4，而无须重新格式化磁盘或重新安装系统。 2、更大的文件系统和更大的文件：较之Ext3目前所支持的最大16TB文件系统和最大2TB文件，Ext4分别支持1EB（1,048,576TB，1EB=1024PB，1PB=1024TB）的文件系统，以及16TB 的文件。 3、无限数量的子目录：Ext3目前只支持32,000个子目录，而Ext4支持无限数量的子目录。 4、Extents：Ext4引入了现代文件系统中流行的extents概念，每个 extent 为一组连续的数据块，相比Ext3采用间接块映射，提高了不少效率。 5、多块分配：Ext4 的多块分配器“multiblock allocator”（mballoc） 支持一次调用分配多个数据块。 *6、延迟分配 7、快速 fsck 8、日志校验 9、“无日志”（No Journaling）模式 10、在线碎片整理 11、inode 相关特性：较之Ext3默认的inode大小128字节，ext4默认inode大小为256字节。

ext4 文件系统磁盘分区