《Hadoop权威指南》读书笔记Day1第一章1、MapReduce适合一次写入、多次读取数据的应用，关系型数据库则更适合持续更新的数据集。2、MapReduce是一种线性的可伸缩编程模型。3、高性能计算HPC和网格计算比较适合用于计算密集型的作业，但如果几点需要访问的数据量更庞大，很多节点就会因为网络带宽的瓶颈问题不得不闲下等数据。（HPC和网格计算的数据存储与SAN中，数据存储比较集中，数据访
转载
2023-09-14 16:07:38
66阅读
数据来自美国国家气候数据中心（National Climatic Data Center，简称NCDC）。这些数据按行并以ASCII格式存储，
原创
2022-07-26 16:44:37
182阅读
《Hadoop 权威指南》读书笔记9 — Chapter 9CountersThere are often things that you would like to know about the data you are analyzing but that are peripheral to the analysis you are performing.Counters are a u...
原创
2022-01-26 11:04:18
65阅读
《Hadoop 权威指南》读书笔记9 — Chapter 9CountersThere are often things that you would like to know about the data you are analyzing but that are peripheral to the analysis you are performing.Counters are a u...
原创
2021-07-07 15:30:55
69阅读
Hadoop读书笔记二 —— Chapter 2 MapReduce【updating…】Hadoop create one map task for each split.2.split 分割大小的问题：【想想为什么？】01.分割的小的话，有利于负载均衡。02.如果分割大的话，则不利于负载均衡03.如果分割的太小的话，又会有什么问题？3.如果发生的问题是：在计算MapReduce...
原创
2021-07-07 15:37:42
240阅读
《Hadoop权威指南》读书笔记三—— Chapter 3 The Hadoop Distributed Filesystem[updating…]FileSystems that manage the storage across a network of machines are called distributed filesystems.HDFS is optimiz...
原创
2021-07-07 15:37:30
161阅读
Hadoop读书笔记二 —— Chapter 2 MapReduce【updating…】Hadoop create one map task for each split.2.split 分割大小的问题：【想想为什么？】01.分割的小的话，有利于负载均衡。02.如果分割大的话，则不利于负载均衡03.如果分割的太小的话，又会有什么问题？3.如果发生的问题是：在计算MapReduce...
原创
2022-01-26 10:55:22
133阅读
《Hadoop权威指南》读书笔记三—— Chapter 3 The Hadoop Distributed Filesystem[updating…]FileSystems that manage the storage across a network of machines are called distributed filesystems.HDFS is optimiz...
原创
2022-01-26 10:54:56
78阅读
《Hadoop 权威指南》读书笔记之五 — Chapter 51.分布式数据处理中哪些方面使用到了 Serialization（序列化）？for interprocess communicationfor persistne storage2.在Hadoop 中， 节点间不同进程的通信的方式是：RPCs3.RPC 的主要特点如下：01.Compact带宽是分布式系统中的瓶颈，所以...
原创
2022-01-26 10:52:32
96阅读
《Hadoop权威指南》读书笔记之六 — Chapter 61.xml文件的读取01.添加在resources文件夹中02.使用Configuration 类的 addResource()文件03.获取.xml 文件中的属性04. .xml文件可以通过 variable expansion 的方式进行设置。 但是这个设置值的顺序是不是得有个先后呢？这个定义值的顺序是没有先后关系要求的，...
原创
2021-07-07 15:33:59
78阅读
《Hadoop 权威指南》读书笔记之五 — Chapter 51.分布式数据处理中哪些方面使用到了 Serialization（序列化）？for interprocess communicationfor persistne storage2.在Hadoop 中， 节点间不同进程的通信的方式是：RPCs3.RPC 的主要特点如下：01.Compact带宽是分布式系统中的瓶颈，所以...
原创
2021-07-07 15:36:25
123阅读
《Hadoop权威指南》读书笔记之四——Chapter 41.YARN : yet another resource negotiator2.yarn 提供访问和请求集群资源的api，但是这些apis并不能被用户直接使用。相反，用户可以使用分布式的计算框架的高级APIs。这些计算框架建立在YARN上，并且隐藏了具体实现。3.资源请求过程01.a client contact the res...
原创
2021-07-07 15:37:11
210阅读
《Hadoop权威指南》读书笔记01.Hadoop 是干嘛的？02.如何展现其reliable， scalable?
原创
2021-07-07 15:37:58
140阅读
《Hadoop权威指南》读书笔记之六 — Chapter 61.xml文件的读取01.添加在resources文件夹中02.使用Configuration 类的 addResource()文件03.获取.xml 文件中的属性04. .xml文件可以通过 variable expansion 的方式进行设置。 但是这个设置值的顺序是不是得有个先后呢？这个定义值的顺序是没有先后关系要求的，...
原创
2022-01-26 10:51:42
129阅读
《Hadoop权威指南》读书笔记01.Hadoop 是干嘛的？02.如何展现其reliable， scalable?
原创
2022-01-26 10:55:46
86阅读
《Hadoop权威指南》读书笔记之四——Chapter 41.YARN : yet another resource negotiator2.yarn 提供访问和请求集群资源的api，但是这些apis并不能被用户直接使用。相反，用户可以使用分布式的计算框架的高级APIs。这些计算框架建立在YARN上，并且隐藏了具体实现。3.资源请求过程01.a client contact the res...
原创
2022-01-26 11:03:57
135阅读
记录在阅读《http权威指南》时一些知识点，以备后用。URL部分rstp://www.123.com/1.mp4 rstp下载协议url中的ftp方案：ftp://username:password@ftp.123.com/file_name url中的参数：参数名=值 eg：www.123.com/index.html;type=value url中的查询：http://
原创
2015-05-03 11:13:27
433阅读
WEB机器人之robots协议web机器人，即爬虫。可以递归的对web站点进行遍历查询，获取web页面。robots.txt：robots协议，是一种自愿约束技术。有些web站点并不希望web机器人查看其站内某些隐私信息，人们提出了robots协议。即所有web站点都可以在其根目录下创建一个robots.txt的文件，该文件里面记录了web机器人可以访问的文件和不可以访问的文件。如果web机器人愿
原创
2015-05-06 13:01:41
343阅读
HTTP认证http认证形式分为基本认证和摘要认证1、基本认证：1) 客户端向服务端发出请求后，服务端并不是直接返回请求的文档(200 OK)，而是在响应报文中加入WWW-Authenticate首部，该首部后面附带该次需要认证的域(网站的不同部分可能需要不同的认证密码)，返回401(Authorization Request)。2) 客户端收到该响应后，会再次发送请求，并在请求报文中加入Auth
原创
2015-05-08 10:55:49
367阅读
HTTPS使用https时，所有的http请求和响应数据在发送到网络之前都会被加密。https会将http在传给tcp之前，先发送给一个安全层(ssl)，对其进行加密。https(端口403)即在安全的传输层上发送http。连接过程：客户端首先打开一条到web服务器端口403的tcp连接。客户端和服务端初始化ssl层，沟通加密参数，交换密钥。双方确认后，客户端将报文发送给安全层，安全层对其加密后通
原创
2015-05-08 12:42:15
480阅读
