索引 磁盘存储 对磁盘上的索引文件

1、文件和文件系统

文件管理：把所管理的程序和数据组织成一系列的文件，并能进行合理的存储、使用等操作。
1 ）基本概念

数据项：描述对象某种属性的字符集；是数据组织中可以命名的最小逻辑数据单位。
记录：一组相关数据项集合，描述对象某方面的属性；
关键字：一个记录中的一个或几个数据项的集合，用于唯一的标识一个记录。
文件：由创建者定义的、具有文件名的一组相关元素的集合。
有结构：由相关记录组成
无结构：字符流的形式
属性：类型、长度、物理位置、创建时间

2 ）文件类型

不同的系统对文件的管理方式不同
大多用扩展名标志文件类型，按如下几种方式分类文件
按用途：系统、用户、库文件
按数据形式：源文件、目标文件、可执行文件
按存取控制属性：只执行、只读、读写
按组织和处理方式：普通文件、目录文件、特殊（设备）文件

3）文件系统模型

4）文件操作

操作系统提供哪些文件操作？
	最基本的操作
	创建/删除文件：分空间，形成FCB及目录（名，地址）
	读、写：按名检索目录，找到文件地址，开始读、写
	设置文件读写位置，实现随机存取（尤其适用于记录文件）

2、文件的逻辑结构

1）文件逻辑结构的类型

有结构文件（记录式）
	①定长记录
	②变长记录
如何组织记录：
	顺序文件。系统需按该类型记录“长度”，通常定长。
	索引文件。系统需为文件建立索引表。
	索引顺序文件。建索引表，记录每组记录的第一个记录位置。
	无结构文件（字符流式）
字节为单位，利用读写指针依次访问。
系统对该类文件不需格式处理。

①顺序文件

两种记录排列方式
串结构：按记录形成的时间顺序串行排序。记录顺序与关键字	无关；
顺序结构：按关键字排序。
检索方法：
从头检索，顺序查找要找的记录，定长的计算相对快。
顺序结构，可用折半查找、插值查找、跳步查找等算法提高效率

	顺序结构记录按关键字排序，可按关键字检索
	定长：结合折半查找算法等提高检索速度

	变长：从第1个记录开始顺序扫描，直到扫描到要检索的关键字标识的记录（例如：数据库、文件系统的基于文件名排序的目录检索）

顺序文件的优缺点：
	
	不方便随机存取某条记录，但适用批量存取的场合。
	适合磁带等特殊介质。
	
	单记录的查找、修改等交互性差；增减不方便（改进办法：把增删改的记录登记在一个事务文件中，在某段时间间隔后再与原文件合并更新）。

②索引文件

为了方便单个记录的随机存取，为文件建立一个索引表，记录每项记录在文件的逻辑地址及记录长度；该索引表按关键字排序，。
索引表内容：
	索引号、长度、记录地址指针
检索效率
索引表本身即是个按记录键排序的定长顺序文件，所以能利用算法提高索引表检索速度

一个索引文件可以有多个索引表
	    为方便用户根据不同记录属性检索记录，为顺序文件建立多个索引表，每种能成为检索条件的域都配备一张索引表。
索引文件的优缺点
	适用于变长记录，可提高检索速度，实现直接存取
	索引表增加了存储开销

③索引顺序文件

既要方便，又要降低开销
本方式是最常见的一种逻辑文件形式。
将顺序文件的所有记录分组
还是建立索引表，但每个表项记录的是每组第1条记录的键值和地址。
组内记录仍按顺序方式检索和使用。
检索一条记录的过程：
	先计算记录是在第几组，然后再检索索引确定组在哪里后，在组内顺序查找。
可利用多级索引，进一步提高检索效率。

④直接文件

给定键值（如学号）不需顺序检索直接得到记录的物理地址

3、外存分配方式

目标：有效利用外存空间，提高文件访问速度
常用三种方式：

连续分配
链接分配（不连续）
索引分配

通常一个系统中仅采用一种方式

采用的磁盘分配方式决定了文件的“物理结构”

顺序结构；链接式结构；索引式结构。

注意与逻辑结构名类似但不是一回事。

1）连续分配

为每一个文件分配一组相邻的盘块。
逻辑文件中的记录顺序与存储器中文件占用盘块的顺序一致。

优点：
	顺序访问容易，读写速度快
缺点：
	会产生外存碎片。可紧凑法弥补，但需要额外的空间，和内存紧凑相比更花时间。
创建文件时要给出文件大小；存储空间利用率不高，不利于文件的动态增加和修改；
适用于变化不大顺序访问的文件，在流行的UNIX系统中仍保留了连续文件结构。如对换区

2）链接分配

可以为每一个文件分配一组不相邻的盘块。
设置链接指针，将同属于一个文件的多个离散盘块链接成一个	链表，这样形成的文件称为链接文件。会有链接成本。
优点：
	离散分配，消除外部碎片，提高利用率
	同时适用于文件的动态增长；修改容易

		①隐式链接

			链接信息隐含记录在盘块数据中；
			每个盘块拿出若干字节，记录指向下一盘块号的指针。
			问题：只能顺着盘块读取，可靠性低
			文件空间信息的目录项中没有链接数据；

		②显式链接（FAT--file allocationtable）
			链接信息以信息表的形式显示存放

			记录盘块链接的指针显示地记录为一张链接表
			所有已分配的盘块号都记录在其中，称文件分	配表
			为了提高文件系统访问速度，FAT一般常驻内存
			属于一个文件的盘块通过链接成为一体，每个链条的首地址作为文件地址记录在相应文件的FCB的“物理地址”字段中。

3）索引分配

链接的不足
	顺序检索的时间成本：不能支持高效的盘块直接存取。要对一个文件进行直接存取，仍需在FAT中顺序的查找许多盘块号。
	链接信息的空间成本：FAT需占用较大的内存空间。当磁盘容量较大时，FAT可能要占用数MB以上的内存空间。这是令人难以忍受的
改进：
	系统运行时只涉及部分文件，FAT表无需全部调入内存
	每个文件单独建索引表（物理盘块索引），记录所有分配给它的盘块号；
	建立文件时，便分配一定的外存空间用于存放文件盘块索引表信息；

4、存储空间的管理

为实现存储空间分配，系统需要：
记住空闲存储空间使用情况；为空间设置相应的数据结构；
提供对存储空间分配、回收的操作手段。

典型的管理方法：
1）空闲表和空闲链表法

空闲表法
	常用于连续分配管理方式
	① 数据结构
		系统为外存上的所有空闲区建立一张空闲表
	每个空闲区对应一个空闲表项
		（表项包括序号、空闲区的第一个盘块号、空闲盘块数等。）
	将所有空闲区按其起始盘块号递增的次序排列，如右	图。
	② 存储空间的分配与回收操作
		与内存的动态分配类似，同样可采用首次适应算法、循环首次适应算法等。
		回收主要解决对数据结构的数据修改。
		应该说明，虽然很少采用连续分配方式，然而在外存的管理中，由于它具有较高的分配速度，可减少访问磁盘的I/O频率，故它在诸多分配方式中仍占有一席之地。（如实现虚拟用的部分外存就是连续分配方式）

空闲链表法
	将所有空闲盘区拉成一条空闲链。
① 数据结构：链
	根据构成链所用基本元素的不同，可把链表分成两种形式：
		空闲盘块链
		空闲盘区链

空闲盘块链

	将磁盘上的所有空闲空间，以盘块为单位拉成一条链。
	因创建文件而请求分配空间时，系统从链首依次摘下适当			数目的空闲盘块分配给用户。
	因删除文件而释放存储空间时，系统将回收的盘块依次插	入空闲盘块链的末尾。
	优点：分配和回收一个盘块的过程非常简单，但为一个文件分配盘块时，可能要重复操作多次。

空闲盘区链
	将所有空闲盘区拉成一条链。每个盘区上含有：
		指示下一空闲盘区的指针、本盘区大小等信息
	分配通常采用首次适应算法。回收盘区时，将回收区与相邻的空闲盘区相合并。
	为提高检索速度，可以采用显式方法，为空闲盘区建立一张链表放在内存中。
	分配、回收操作涉及的链式数据结构的处理方便

空闲盘块链
	分配回收简单。链表长，大量分配时需要操作的指针多
空闲盘区链
	链表长度不定，分配时操作的指针数量相对较少，但分配回收操作相对复杂。

2）位示图法

利用二进制的一位来表示一个盘块的使用情况。
		值为0表示对应的盘块空闲，为1表示已分配。有的			系统则相反。
		磁盘上的所有盘块都有一个二进制位与之对应，这样由所有盘块所对应的位构成一个集合，称为位示图。
	总块数=m*n。可用m*n个位数来构成位示图，可看成是二维数组（数据结构）。

盘块的分配与回收
	根据位示图进行盘块分配：
		1）顺序扫描位示图。找到为0的二进制位。
		2）将所找到的一个或一组二进制位，转换成与之对应的盘块号。进行分配操作。
		   盘块号计算公式为：盘块号 = 列总数*（i-1）+ j;
			（注意下标i，j从1开始）
		3)修改位示图。
根据位示图进行盘块回收：
	1)将回收盘块的盘块号转换成位示图中的行号和列号。转			换公式为：i=(盘块号-1)div列数+1；j=(盘块号-1)mod列数+1
	Div 求商，mod 取余，公式中的i、j都是从1开始的
	（如12号盘块转换后为1，12）
	2)修改位示图。

优点：从位示图中很容易找到一个或一组相邻接的空闲盘块。
	但限于容量问题，常用于微型机和小型机中。

3）成组链接法

- 大型文件系统，空闲表或空闲链表太长不方便管理操作。
- UNIX系统中采用成组链接法，这是将两种方法结合而形成的一种空闲盘块管理方法。
中心思想：
	- 所有盘块按规定大小划分为组；
	- 组间建立链接；
	- 组内的盘块借助一个系统栈可快速处理，且支持离散分配回收。

成组链接法

- 链表长度上限固定
- 组内的盘块借助一个系统栈可快速处理，且分配回收比较简单。
- 支持离散分配回收。

	① 空闲盘块的组织
		空闲盘块号栈。
			- 用来存放当前可用的一组空闲盘块的盘块号（最多含100个号）
			- 栈中尚有的空闲盘块号数N。
				（N兼具栈顶指针用。栈底为S.free(0)，栈满时栈顶到达S.free(99)，N=100，表示有100个盘块供使用。

	链接
		每一组的第一个盘块记录下一组的盘块号，形成了一条链。
		总将链的第一组盘块总数和所有的盘块号，记入栈，作为当前可供分配的空闲盘块号。

	②空闲盘块的分配与回收
		分配盘块时，须调用分配过程来完成。
			- 先检查空闲盘块号栈是否上锁，如没有，便从栈顶取出一空闲盘块号，将与之对应的盘块分配给用户，然后将栈顶指针下移一格。
			- 若该盘块号已是栈底，即S.free(0)，到达当前栈中最后一个可供分配的盘块号。
			- 读取该盘块号所对应的盘块中的信息：即下一组可用的盘块号入栈。
			- 原栈底盘块分配出去。修改栈中的空闲盘块数。
		回收
			- 回收盘块号记入栈顶，空闲数N加1
			- N达到100时，若再回收一块，则将该100条信息填写入新回收块。

5、目录管理

对文件实施有效的管理，必须对它们加以妥善组织，主要是两大操作：
基本信息记录(FCB,目录项)
方便检索、管理（目录操作）

目录管理的要求如下：

• 实现“按名存取”；（最基本功能）
• 提高对目录的检索速度；
• 文件共享；
• 允许文件重名。

1）FCB内容

在文件控制块中，通常含有以下三类信息。
1.基本信息类
	包括文件名，文件物理位置，文件逻辑结构，文件的物理结构。
2.存取控制信息类
	包括文件主的存取权限，核准用户的存取权限和一般用户的存取权限。
3.使用信息类
	建立日期和时间、文件上次修改的日期和时间
	当前使用信息：打开该文件的进程数、是否被进程锁住、是否已修改等。

2）索引结点

索引结点的引入
- 文件目录占越大量的盘块，需进行的磁盘读写开销越大。减少实际检索的信息量就减少移动磁头的开销，提高速度；
- 目录一般是按名检索。而直到找到正确文件前，只关心文件名，不需要其它的文件描述信息，目录中这部分内容的调入不是必须的。
- 所以：将文件名、文件具体信息分开，使文件描述信息单独形成一个索引结点。

索引结点由外存到内存的过程中有不同的形式：

• 磁盘索引结点

• 存放在磁盘上的索引结点。主要包括以下内容：文件主标识符、文件类型、文件存取权限、文件物理地址、文件长度、文件连接计数、文件存取时间。

• 内存索引结点

• 文件被打开后，将磁盘索引结点拷贝到内存索引结点中以便使用。比磁盘索引结点增加了以下内容：索引结点编号、状态、访问计数、文件所属文件系统的逻辑设备号、链接指针。

３） 目录结构

• 目录结构的组织，关系到文件系统的存取速度，也关系到文件的共享性和安全性。
• 组织好文件的目录，是设计好文件系统的重要环节。
• 目前常用的目录结构形式有

• 单级目录
• 两级目录
• 多级目录

4）目录查询技术

• 用户要访问一个已存文件

• 目录数据调入内存；
• 按名检索：系统利用提供的文件名对目录(根据目录层次，需要做的检索次数也不同)进行查询
• 找该文件控制块
• 读FCB或对应索引结点；
• 从文件物理地址换算出文件在磁盘上的物理位置；
• 最后通过磁盘驱动程序，将所需文件读入内存。

• 目录查询方式：线性检索法和Hash方法。

6、文件共享与保护

1）文件共享

多个用户共享一份文件，只保留文件的一份副本，节约存储空间
共享范围：单机系统/多主机系统/网络范围
20世纪六七十年代，出现了若干文件早期共享方法，绕弯路法、连访法等，逐渐发展为现代一些共享方式
	索引结点
	符号链
	
	①索引结点法
		基本FCB法：
			名+详细信息。
		直接在文件目录中包含文件的物理地址，该方法实现的共享不适用文件动态变化。一个用户对文件的修改（如物理块号增加），对其他用户不可见，共享文件的FCB信息记录同步更新困难。
			文件名+索引结点指针。
		一个用户修改指针指向地址里的内容，指针不变，其他用户通过指针总能感知索引结点中的最新内容
		索引结点中增加count计数
		主人删除操作问题：
		删，共享用户访问错误；不删，计费问题。

	②符号链法
		创建一个link类型的文件：“文件名+共享文件路径”（类似快捷方式）
		文件主人删除文件，共享者只会出现找不到文件错误。不会发生共享文件删除后出现悬空指针的情况。
		该方法适用于网络文件共享，但根据路径检索共享文件的目标位置增加了访问开销，link文件独占索引结点也耗费一定的空间。
		无论哪种共享，链接就对应一个文件，如果遍历复制整个目录内的文件，可能会从多条路径对共享文件进行多次访问

2）磁盘容错

SFT，system fault tolerance
防止磁盘故障造成的文件不安全
	SFT I:磁盘表面故障
		双目录、双文件分配表（空间冗余）
		写后读校验、热修复重定向（时间操作冗余）
		写入磁盘后再读回内存做一致性校验
		热修复写过程：从坏道重定向到专区并记录a
	SFT II：磁盘驱动器、控制器故障
		驱动器故障：磁盘镜像
		控制器故障：磁盘双工——并行控制器，分离搜索加快读取