google云计算原理与应用
google云计算服务包括：google文件系统GFS，分布式计算编程模形MapReduce，分布式锁服务Chubby，分布式结构化数据表Bigtable，分布式存储系统Megastore以及分布式监控系统Dapper等。
GFS提供了海量数据的存储和访问能力。
GFS
系统架构：
分为三类角色，client(客户端),Master(主服务器)和Chunk Server(数据块服务器)
1，使用的是中心服务器模块，可以任意添加chunk server.
2，不实现缓存，这是从必要性和可行性两方面考虑。
必要性：客户端大部分是流式读写，不存在大量的重复读写。
可行性：如何维护缓存与实际数据之间一致性是一个极其复杂的问题。加之网络等不确定因素，一致性问题尤为复杂。而且数据量非常大，以当前的内存容量根本无法缓存。
而对于存储在GFS的Master中的数据实现了缓存。
3，在用户状态下实现，正常的文件系统是操作系统的重要组成部分，在内核态实现文件系统可以更好的和操作系统本身结合。
但GFS却选择在用户态下实现，主要基于以下考虑：
1）在用户态下直接利用操作系统提供的POSIX编程接口就可以扩展存取数据，无需了解内部的实现接口。
2）POSIX接口提供的功能更为丰富不受内核编程的限制
3）在用户态下有多种调试工具
4）用户态下，Master和Chunk Server都以进程的方式运行，单个进程不会影响整个操作系统
5）在用户态下，GFS和操作系统运行在不同的空间，两者的耦合性降低，方便GFS自身的扩展和升级
4，只提供专有的接口
容错机制：
1，Master容错
1）命名空间也就是整个文件系统的目录结构
2）Chunk与文件名的映射表
3）Chunk副本的位置信息，每一个Chunk默认有三个副本
2，Chunk Server容错
GFS采用副本的方式实现Chunk Server的容错，默认每个副本存储3个
GFS划分的每一个Chunk的默认大小是64MB
系统管理技术：
1）大规模的集群安装
2）故障检测
3）节点动态加入
4）节能
分存式数据处理MapReduce
MapReduce就是“映射”和“化简”的概念和主要思想。
比如查询一个大型文本中各个单词出现的次数，经过Map处理后，形成一批中间结果<单词，出现次数>，而Reduce函数处理中间结果，将相同单词出现的次数累加，得到每个单词出现的次数。
分存式锁服务
Chubby是Google设计的提供粗粒度服务的一个文件系统，它是基于松耦合的分布式系统。
通过使用Chubby的锁服务，用户可以确保数据操作过程中的一致性。
1，Paxos算法
paxos是一种基于消息传送的一致性算法，用于解决分布式中的一致性问题
如何解决分布式中的一致性问题呢，最简单的就是设置一个结点，所有操作都经过这个结点，这样就能保证唯一性的问题。
但是这样缺点也是显而易见的，就是如果结点失效就会出现混乱，所以需要在系统中设置多个这样的结点。
Paxos算法分成三个类型：proposers、acceptors和learners，其中Proposers提出决议，acceptors批准决议，learners获取并使用已经通过的决议。
2，Chubby系统设计
Chubby的设计目标主要有以下几个：
1）高可用性和高可靠性
2）高扩展性
3）支持粗粒度的建议性锁服务
4）服务信息的直接存储
5）支持通报机制
6）支持缓存机制
分存式结构化数据表Bigtable
Bigtable是Google基于GFS和Chubby的分布式存储系统。
Bigtable在很多方面跟数据库类似。
数据模型：
Bigtable是一个分布式的多维映射表，表中数据通过一个行关键字，一个列关键字以及一个时间戳进行索引。Bigtable对存储在其中的数据不做任何解析，一律看成是字符串。
1)行
可以是任意的字符串，但是大小不能超过64K，排序是根据行关键字进行排序的，推荐使用的是字典序
2)列
有列族的概念，族名：限定词（family:qualifier），族名必须有意义，限定词可以任意选定，同族被压缩存储在一起
族同时也是Bigtable中访问控制的基本单元，也就是说访问权限是在族这一级别上进行的
3)时间戳
默认是64位整数
目前提供两种设置，一种是保留最近N个不同的版本，另一种就是保留限定时间内的所有不同版本
系统架构：
Bigtable主要由三部分组成：客户端程序库（Client Library）、一个主服务器（Master Server）和多个子表服务器（Table Server）
客户端访问Bigtable服务时，首先利用函数库执行open操作打开一个锁，锁打开后客户端就可以跟子表服务器进行通信了。
主服务器的作用：
1）新子表分配
2）子表服务器状态监控
3）子服务器之间的负载均衡
子表服务器：
1）SSTable中的数据被划分成一个个的块（Block），每个块的大小是可以设置的，一般为64KB，在SSTable的结尾有一个索引（Index），在SSTable打开时这个索引会被加载进内存，所以查找的速度会非常快。
每个子表都是由多个SSTable和日志组成
2）子表地址，在Bigtable系统的内部采用的是一种类似B+树的三层查询体系
先查根子表，然后找到元数据子表，最后找到对应的用户表
3）子表的数据存储及读写操作
性能优化
1）局部性群组
2）压缩
3）布隆过滤器
分存式存储系统Megastore
Megastore：关系型数据库和NoSQL的完美结合
设计目标：
1）针对可用性：引入了Paxos算法
2）针对扩展性：采用数据分区将每个分区存放在NoSQL中
megastore的数据模型
通过类似SQL的方式进行查询，有一套对应的查询语言。
Megastore的核心技术-复制
1）复制的日志
2）数据读取 （1）本地查询 （2）发现位置 （3）追赶 （4）验证 （5）查询数据
3）数据写入 （1）接受leader （2）准备 （3）接受 （4）失效 （5）生效
分存式系统的监控基础框架Dapper
分布式监控系统
基本设计目标：
1）低开销
2）对应用层透明
3）可扩展性
作者：张锋
更多精彩文章可以观注
微信公众号
