内容简介
本书能满足读者全面学习最新的Hadoop技术及其相关技术（Hive、HBase等）的需求，是一本系统且极具实践指导意义的Hadoop工具书和参考书。第1版上市后广受好评，被誉为学习Hadoop技术的经典著作之一。与第1版相比，第2版技术更新颖，所有技术都针对最新版进行了更新；内容更全面，几乎每一个章节都增加了新内容，而且增加了新的章节；
转载
2023-07-24 09:20:27
53阅读
# Hadoop：大数据处理的基石
随着互联网的发展，数据量的爆炸性增长使得传统的数据处理方式显得力不从心。为了解决这一问题，Apache Hadoop应运而生。本文将为大家介绍Hadoop的基本概念、工作原理以及一些简单的代码示例，帮助你更好地理解这一强大的大数据处理框架。
## 什么是Hadoop？
Hadoop是一个开源的框架，主要用于存储和处理大规模数据集。它由四个核心模块组成：
原创
2024-10-05 05:18:58
18阅读
最近开始读<< Hadoop:the definitive guide>>，于是打算写点读书笔记，书电子版见网盘，密码v66s。原书推荐的读书顺序如下图： 这里我们就按从第一章到最后一章的顺序读吧.Chapter 2: MapReducemapreduce思想MR的思想非常简单，如下图所示： Map将按照行读入输入文件，然后将它们parse为若干个< Key,Val
转载
2023-09-22 10:38:19
94阅读
知识推荐书籍1、舍恩伯格的《大数据时代》；2、巴拉巴西的《爆发》；3、涂子沛的《大数据》；4、吴军《智能时代》；5、《大数据架构商业之路：从业务需求到技术方案》
转载
2023-09-14 16:31:50
71阅读
Kubernetes是一个开源的容器编排和管理平台，它能够自动化地部署、扩展和管理容器化应用程序。本文将介绍如何从源码中学习和理解Kubernetes。首先，让我们来了解一下实现这一目标的整个流程。
步骤 | 描述
--- | ---
1 | 下载Kubernetes源码
2 | 阅读和理解源码结构
3 | 根据具体需求修改源码
4 | 编译和构建源码
5 | 部署和运行自定义的Kuberne
原创
2024-01-23 10:41:03
79阅读
前言本文为javac 源码解析的第一篇,主要介绍了如下内如:阅读javac源代码的好处阅读javac源代码的储配知识build javacjavac源代码结构说明重要说明: javac是java的编译器,内容高深,非常人所能参透,本人也同样,写本文只为了交流,因此,诸位看客发现纰漏,请指出,点拨一下小弟,不甚感激.阅读javac源代码的好处阅读javac的好处如下:能接触java的真实面貌能更早的
转载
2023-07-21 17:32:27
79阅读
第一章：就是介绍一下Hadoop的历史及发展过程。
第二章：MapReduce从一个统计气象学的例子，来引出MapReduce的写法，对比了一下新旧API的区别以及不同。新的API主要采用的是虚类而不是接口的方式来提供服务。讨论了数据流：Hadoop的存储，以及工作原理，还有Combiner函数的使用。最后，谈到了使用不同语言来实现mapreduce功能（Streaming， P
转载
2023-12-11 22:40:54
87阅读
大数据集成环境准备本次大数据环境准备由于时间有限，环境搭建是简易版本，只搭建了hadoop伪分布式，和hive数仓工具，但是不影响使用。一、软件准备大数据集成的数据仓库的安装我们需要使用到软件有：Ubantu16jdk-8u162-linux-x64.tar.gzhadoop-2.7.1.tar.gzapache-hive-1.2.1-bin.tar.gzmysql-connector-java-
转载
2023-09-26 15:50:42
68阅读
https://www.doc88.com/p-7136380068799.htmlhttps://github.com/Apress/practical-hadoop-security
原创
2021-07-23 16:49:17
344阅读
# Hadoop好的书
## 引言
在大数据时代，处理和分析海量数据已成为许多企业和研究机构的重要任务。Hadoop是一个开源的分布式计算框架，被广泛应用于大数据处理和分析。然而，对于初学者来说，学习Hadoop可能有一定的难度。因此，选择一本好的书籍是学习Hadoop的关键。
本文将介绍几本被认为是Hadoop领域的经典之作，帮助读者选择适合自己的学习资料。同时，我们将通过代码示例来演示H
原创
2023-08-11 10:02:20
72阅读
Hadoop是一个大数据处理平台，目前在大数据领域应用也非常广泛，刚好最近我们BI组在进行把底层数据仓库迁移到Hadoop平台并且当前BI的数据平台已经深度依赖Hadoop平台，所以在工作之余开始去深入了解下Hadoop内部实现以更好地应用它，在遇到问题的时候有更好的解决思路。本文详细介绍了Hadoop领域中分布式离线计算框架MapReduce的原理及源码分析。 1. MapReduce概述 &
转载
2023-09-13 23:05:57
38阅读
由于本人愚笨，光阴似箭、日月如梭、随着年龄的增长，看着那么多大牛，写出了那么多知名的框架，对于框架的知识，不仅仅想知道怎么去使用它，还想为什么别人是这样设计，这样声明类和接口，就好比刚刚开始看的HDFS文件系统一样，为什么会有Fimage类对象和edits对象。我脑子里面总是在想，很多事情是从简单到复杂的，看hadoop的代码也是，所以我就从hadoop的最简单、最基础
转载
2024-02-20 19:49:25
17阅读
hadoop 源代码分析(一)Google 的核心竞争技术是它的计算平台。HadoopGoogle的大牛们用了下面5篇文章，介绍了它们的计算设施。GoogleCluster：http://research.google.com/archive/googlecluster.html
Chubby：http://labs.google.com/papers/chubby.html
GFS：h
转载
2023-09-06 20:43:46
61阅读
Hadoop源代码分析（三五）除了对外提供的接口，NameNode上还有一系列的线程，不断检查系统的状态，下面是这些线程的功能分析。在NameNode中，定义了如下线程：hbthread = null; // HeartbeatMonitor threadpublic Daemon lmthread&nb
转载
2023-09-13 23:39:27
71阅读
第1章 Hadoop概述1.1 Hadoop是什么1.2 Hadoop发展历史（了解）1.3 Hadoop三大发行版本（了解）Hadoop三大发行版本：Apache、Cloudera、Hortonworks。Apache版本最原始（最基础）的版本，对于入门学习最好。2006Cloudera内部集成了很多大数据框架，对应产品CDH。2008Hortonworks文档较好，对应产品HDP。2011Ho
转载
2023-10-26 18:32:42
38阅读
当集群模式中需要扩缩容时，需要向集群中添加/删除节点，本节就来介绍下这个过程。添加节点当把节点A加入集群时，需要运维工具redis-cli向集群中任意节点发送Cluster meet < ip > < port > 命令：void clusterCommand(client *c) {
...
if (!strcasecmp(c->argv[1]->ptr,
转载
2023-07-04 16:52:12
92阅读
首先删除系统自带的mysql
rpm -qa | grep mysql
rpm -e mysql //普通删除模式 rpm --nodeps -e mysql-libs-5.1.71  
转载
2024-08-13 11:17:41
33阅读
一、前言Spring起源于2002年Rod Johnson写的一本书《Expert One-on-One J2EE》，书里介绍了Java企业应用程序开发情况，并指出Java EE和EJB组件框架中的一些主要缺陷，还提出了一个基于普通的Java类和依赖注入的更简单的解决方案。在书中，他展示了如何在不使用EJB的情况下构建高质量、可扩展性的在线预留座位系统。为构建应用程序，他编写了超过30,000行的
转载
2024-03-17 15:49:53
33阅读
# 学习如何实现 Hadoop 源码
当你开始接触大数据处理框架 Hadoop 时，理解其核心源码是掌握这一工具的关键。本文将帮助你了解如何下载、构建和运行 Hadoop 源码，伴随着详细的代码示例和步骤。
## 1. 项目流程
以下是实现 Hadoop 源码的总体步骤：
| 步骤 | 描述 |
|------|------|
| 1 | 安装必要的工具 |
| 2 | 下载
原创
2024-09-16 03:50:22
20阅读
Hadoop源码解读一前言寻找入口类main方法createNameNode方法NameNode构造方法initialize方法loadFromDisk方法loadFSImage方法recoverTransitionRead方法loadFSImage方法saveNamespace方法总结 前言在学习的过程中，我们总是不可避免的以使用为目标，而没有深入的去研究源码的构成，本文简单的分享我阅读源码的
转载
2023-11-18 23:16:32
84阅读
