[img]http://dl.iteye.com/upload/picture/pic/136745/8c8659cd-f6e4-3b9b-95eb-1ccb42797037.jpg[/img]
[b]《Hadoop海量数据处理——技术详解与项目实战》（第2版）阅读整理。[/b]
[b]Hadoop官网[/b]: [url]http://hadoop.
转载
2023-07-21 14:31:23
0阅读
第一章：就是介绍一下Hadoop的历史及发展过程。
第二章：MapReduce从一个统计气象学的例子，来引出MapReduce的写法，对比了一下新旧API的区别以及不同。新的API主要采用的是虚类而不是接口的方式来提供服务。讨论了数据流：Hadoop的存储，以及工作原理，还有Combiner函数的使用。最后，谈到了使用不同语言来实现mapreduce功能（Streaming， P
转载
2023-12-11 22:40:54
87阅读
，作者： 【美】Eric Sammer 2.1 目标和动机Apache Hadoop的重要组成部分是Hadoop分布式文件系统（HDFS，Hadoop Distributed Filesystem）。HDFS的设计初衷是为了支持高吞吐和超大文件的流式读写操作。传统的大型存储区域网络（Storage Area Network, SAN）和网络附加存储（Network Attached Storage
转载
2024-04-19 16:08:15
85阅读
Hadoop入门概述一：概述 1）Hadoop是一个由Apache基金会所开发的分布式系统基础架构。 2）主要解决，海量数据的存储和海量数据的分析计算问题。 3）广义上来说，Hadoop通常是指一个更广泛的概念——Hadoop生态圈。二：组成 Hadoop1.x和2.x的区别 1. 1.x HDFS（数据存储） Yarn（资源调度） Common（辅助工具）2.xMapReduce （计算）Y
转载
2023-09-27 22:11:23
63阅读
APACHE HADOOP YARN – 概念和应用如前面所描述的, YARN 实质上是管理分布式app的系统。他由一个中心ResourceManager来管理集群所有的可用资源，每个节点有一个 NodeManager, 直接从ResourceManager来负责管理单节点的可用资源。 Resource Manager在YARN里, the ResourceManager 是一个主要的
转载
2023-09-02 20:34:12
61阅读
文档内容：
1：下载《hadoop权威指南》中的气象数据
2：对下载的气象数据归档整理并读取数据
3：对气象数据进行map reduce进行处理
文档内容： 1：下载《hadoop权威指南》中的气象数据 2：对下载的气象数据归档整理并读取数据 3：对气象数据进行map reduce进行处理关键词：《Hadoop权威指南
转载
2023-07-19 15:51:49
57阅读
代表性的大数据技术涵盖了大数据处理的各个领域和环节，下面介绍几种常用和代表性的技术：1. HadoopHadoop是由Apache开发的分布式计算框架，主要由HDFS（Hadoop Distributed File System）和MapReduce两部分组成。Hadoop通过分布式存储和分布式计算来处理海量数据，并支持数据的高可用性和可靠性。目前已经成为了大数据处理的基础设施，并且被广泛应用在搜
转载
2023-07-12 14:58:05
96阅读
2 相关技术及原理2.1 Hadoop相关技术和原理2.1.1 HDFS分布式存储系统2.1.2 MapReduce并行计算框架与Yarn资源调度器2.2 全基因组测序相关技术和处理流程2.2.1 原始数据质控2.2.2 数据预处理2.2.3 变异检测2.2.4 相关文件格式概述2.3 本章小结 2 相关技术及原理2.1 Hadoop相关技术和原理本节主要对基于Hadoop平台的相关技术，如：H
转载
2023-10-07 19:50:02
123阅读
1.概述 为什么这份文档里面我们要安装这么多集群呢？我这里大至说一下原因，TIDB4.0我们主要是用于存储大量数据用的，也就是永久化存储，而Spark是面向内存的。这使得Spark能够为多个不同数据源的数据提供近乎实时的处理计算性能，适用于需要多次操作特定数据集的应用场景。进行我们想要的离线计算，然后生成报表再回写到TIDB之中。2.安装TIDB生成环境硬件要求 组件CPU内
转载
2024-01-16 18:06:21
56阅读
《Hadoop权威指南》知识点整理2MapReduce部分MapReduce应用开发_配置一个Configuration类的实例代表配置属性极其取值的一个集合，属性由String类型来命名，而值的类型任意，Configuration从使用简单结构名值对(name-value)的XML文件中读取其属性值。后添加到资源文件的属性会覆盖之前定义的属性。<!-- 配置文件 configuratio
转载
2023-07-13 16:37:12
50阅读
《Hadoop权威指南》的10章和11章，基本都是讲集群的搭建、配置、目录结构等细节知识比较凌乱，在此将自己觉得重要的知识记录一下1. 为何不使用RAID？NameNode需要永久性储存文件元数据，可以使用RAID（磁盘阵列）做存储器但是DataNode不建议使用RAID做存储器，主要原因有三个：
原因一： HDFS的多副本已经能满足冗余需求，无需再使用RAID原因二： Hadoop的JBO
转载
2023-07-13 00:09:10
64阅读
下面这个就是yarn的高可用，ResourceManager可以有无数个 日记的管理方式发生了改变——单个namenode的模式，日记文件是直接写到namenode里面就可以了。现在要实现的是高可用的模式，高可用就需要两台namenode，而且管理模式是一样的，引入了两台那么日记文件就必须要实现共享与同步，既然要实现共享，一个是namenode之间点对点的连接，但是namenode的是高
转载
2023-07-13 16:38:12
61阅读
本节书摘来异步社区《HBase权威指南》一书中的第1章，第1.5节，作者： 【美】Lars George 译者： 代志远 , 刘佳 , 蒋杰 责编： 杨海玲，更多章节内容可以访问云栖社区“异步社区”公众号查看。1.5 HBase：Hadoop数据库看过BigTable的架构之后，我们可能会简单地认为HBase完全是Google的BigTable的开源实现。但是这个说法可能过于简单，因为两者之间还有
转载
2023-07-14 16:31:21
81阅读
这些资料都是我在工作中学习、解决问题的资料汇总，我不能保证这里罗列的所有资料对看到的人有用，但大部分都经过我的实际验证。在不断学习和实践过程中，我会不断更新和总结这些资料，同时欢迎大家留言交流。感谢这些资料的作者。一、HDFS1、集群安装：Hadoop 2.6.0 HA高可用集群配置详解2、NameNode：HDFS NameNode内存全景3、DataNode：Hadoop--HDFS之Da
大数据处理技术发展趋势传统数据处理系统面临的问题：
如上图：传统数据处理系统面临的问题主要有：海量数据的存储成本。有限的扩展能力。数据资产对外增值。大数据处理能力的不足。单一数据源。流式数据处理缺失。数据处理技术演进趋势：
数据处理技术演进的趋势：完全共享模式存储方式：磁盘。特点：单机、Scale up。缺点：性能存在瓶颈、扩展性能差。数据库服务器存储方式：高性能网络存储。特点：集
转载
2023-09-27 20:13:40
84阅读
了解大数据首先，搞清楚hadoop在处理大数据的定位在哪里什么是大数据？为什么要处理大数据？数据量大（Volume） 数据类别复杂（Variety） 数据处理速度快（Velocity） 数据真实性高（Veracity） 合起来被称为4V。处理大数据是为了挖掘数据中的隐含价值如何处理大数据？集中式计算VS分布式计算集中式计算：通过不断增加处理器的个数来增强耽搁计算机的计算能力，从而提高处理的速度。需
转载
2024-04-19 11:59:47
43阅读
Hadoop技术梗概（一）概要Hadoop的核心主要包括几个子项目。Hadoop common、Hadoop HDFS、以及Hadoop MapReduce。这三个部分是Hadoop最重要的三个部分。Hadoop common是Hadoop的核心，是曾经Hadoop项目的Core部分。很多其他版块都依赖于Hadoop common。Hadoop common主要负责Hadoop的配置以及Hadoo
转载
2023-12-11 22:43:29
53阅读
1. hadoop的诞生Google大数据技术主要包含三大部分，MapReduce、BigTable、GFS，主要具有以下特点： - 成本降低，能用pc机就不用大型机和高端存储。 - 软件容错，硬件故障视为常态，通过软件保证高可靠性 - 简化并行分布式计算，无须控制节点同步和数据交换。Hadoop就是根据谷歌发布的相关技术论文，模仿谷歌大数据技术的一个开源实现。 Hadoop是开源的分布式
转载
2023-09-27 22:11:16
84阅读
这是一组系列博文，目的是详尽介绍 SQL-on-Hadoop 。本系列的第一篇会介绍 Hadoop 系统的存储引擎和在线事务处理（简称 OLTP ）；第二篇将介绍在线分析处理（简称 OLAP ）；第三篇将介绍对 Hadoop 引擎的改进以及在相关替代产品中如何选型等话题。SQL on Hadoop 是一个既令人兴奋又令人困扰的话题；几乎每周都有一个新的 SQL on Hadoo
转载
2024-02-04 14:29:12
14阅读
一个分布式系统基础架构，由Apache基金会开发。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力高速运算和存储。 简单地说来，Hadoop是一个可以更容易开发和运行处理大规模数据的软件平台。 Hadoop实现了一个分布式文件系统（HadoopDistributedFileSystem），简称HDFS。HDFS有着高容错性（fault-tolerent）的特点，并且设
转载
2023-08-18 19:38:35
95阅读
