文章目录一、Hadoop是什么二、Hadoop三大发行版本1.Apche Hadoop2.Cloudera Hadoop3.Hortonworks Hadoop三、Hadoop的优势1.高可靠性2.高扩展性3.高效性4.高容错性四、Hadoop组成1.HDFS组成概述2.YARN组成概述3.MapReduce组成概述总结 一、Hadoop是什么Hadoop是一个由Apache基金会所开发的分布式
转载
2023-07-04 14:23:54
106阅读
一、准备工作$ hostnamectl set-hostname hadoop01
$ hostnamectl set-hostname hadoop02
......
所有机器关闭防火墙
$ systemctl stop firewalld.service
设置Master到其他机器的ssh免密登录
$ ssh-kengen
$ ssh-copy-id hadoop01
$ ssh-copy-i
转载
2023-07-04 14:38:05
87阅读
Hadoop三大发行版本Hadoop三大发行版本：Apache、Cloudera、Hortonworks。Apache版本最原始（最基础）的版本，对于入门学习最好。Cloudera在大型互联网企业中用的较多。Hortonworks文档较好。1. Apache Hadoop官网地址：http://hadoop.apache.org/releases.html下载地址：https://archive.
转载
2023-07-04 14:40:59
872阅读
Hadoop概述一、hadoop是什么？hadoop是一个由Apache基金会开发的分布式系统基础架构主要解决，海量数据的存储和海量数据的分析计算问题广义上来说，Hadoop通常是指一个更广泛的概念——Hadoop生态圈二、Hadoop发展史略三、Hadoop三大发行版本Apache 版本最原始（最基础）的版本，对于入门学习最好。2006 Cloudera 内部集成了很多大数据框架，对应产品 CD
转载
2023-08-18 13:28:16
451阅读
# 探索 Hadoop 生态系统：CDH 的使用
Hadoop 是一个著名的开源框架，以其强大的分布式存储和处理能力而闻名。Cloudera 提供的 CDH（Cloudera Distribution Including Apache Hadoop）是 Hadoop 生态系统的一个集成发行版，它将 Hadoop 的核心组件与其他大数据工具结合在一起，提供了易于管理的解决方案。
## 什么是 C
一，以hdfs路径/tmp/table/student_score.txt为输入，表结构为（学号，姓名，课程名称，成绩），字段间分隔符为tab，如下图所示。通过设置reduce个数为2，自定义hash partition实现将其中姓名为"张一"的放到同一个reduce中，非张一的放到其它的reduce中，输出结果字段为（学号，姓名，课程名称，成绩），按tab分隔即可。 具体实现代码（ja
转载
2023-10-19 11:23:00
58阅读
## 实现Docker CDH5的步骤
为了让新手开发者能够更好地理解和实现Docker CDH5，我将按照以下步骤进行说明：
```mermaid
flowchart TD
A[准备环境] --> B[安装Docker]
B --> C[配置Docker镜像加速]
C --> D[拉取CDH5镜像]
D --> E[创建并启动CDH5容器]
```
###
原创
2023-12-03 14:41:19
60阅读
尚硅谷大数据技术之Hadoop（入门） (作者：尚硅谷大数据研发部) 版本：V3.0 第1章 大数据概论1.1 大数据概念 1.2 大数据特点（4V） 1.3 大数据应用场景 1.4 大数据发展前景  
转载
2024-05-27 17:16:08
108阅读
目录组件版本0.CDH介绍1.Linux 虚拟机基础环境1.1 虚拟机环境设置（不改变已生的MAC地址）1.2 虚拟机修改Mac和IP1.3 虚拟机修改对应主机名与域名映射1.4 虚拟机关闭防火墙1.5 SELinux 关闭1.6 虚拟机免密码登录1.7 三台机器时钟同步 & 安装一些依赖包1.8 修改系统参数2. 安装 java3. 安装 mysql4. CM服务安装5. CDH等相关安
转载
2023-07-14 18:30:23
240阅读
原理目前的CDH集群安装的配置主要考虑的是内存和CPU核数的分配，因为内存和CPU的配置直接影响集群的性能。其他的配置则跟集群整体规划有关，如NameNode，ResourceManager，zookeeper等安装在哪；block块的大小；以及是否需要开启CDH本身提供的一些功能等等。所以以下会分两个部分描述集群的配置文件：内存和CPU参数部分，其他常用配置部分。最后给出整个集群的详细配置参数以
转载
2023-08-18 13:22:38
133阅读
1.hadoop框架1.1 Hadoop是什么1.2 Hadoop发展历史1.3Hadoop三大发行版本Hadoop三大发行版本：Apache、Cloudera、Hortonworks。 Apache版本最原始（最基础）的版本，对于入门学习最好。 Cloudera在大型互联网企业中用的较多。 Hortonworks文档较好。 1.Apache Hadoop 官网地址：http://hadoop.a
转载
2023-08-11 12:46:00
52阅读
第1章 Hadoop概述1.1 Hadoop是什么1.2 Hadoop发展历史（了解） 1.3 Hadoop三大发行版本（了解）Hadoop三大发行版本：Apache、Cloudera、Hortonworks。Apache版本最原始（最基础）的版本，对于入门学习最好。2006Cloudera内部集成了很多大数据框架，对应产品CDH。2008Hortonworks文档较好，对应
转载
2023-07-05 23:39:07
145阅读
http://blog.csdn.net/yhl27/article/details/37726639
转载
2017-11-07 13:32:30
635阅读
昨天晚上刚刚配置好了3台主机的集群，想着把集群的配置过程详细的记录下来，以备不时之需，就顺便把cdh-Hadoop伪分布式安装教程也详细记录下来。在没有深入接触大数据之前，我也不知道cdh和Apache的Hadoop有什么区别。但是随着不断的深入，慢慢的了解到cdh的好处，cdh版本的Hadoop会帮我们编译好Hadoop。例如当我们学习到hive，flume，sqoop……时，如果用的是Apac
转载
2024-10-12 11:35:56
16阅读
背景：已有CDH5.13.1，集成CDS 2.3.4(Apache Spark 2.3.4）。1. 环境：操作系统：CentOS7.3CM：CM-5.13.1CDH：CDH5.13.1JDK：1.8.0_151Scala：Scala 2.11.12 2. 集成步骤：2.1 环境准备按照官方文档要求安装好所有的软件：CDH版本CDH 5.9 +CM版本CM 5.11+ 
转载
2023-12-11 21:31:57
59阅读
cdh5 hadoop redhat 本地仓库配置cdh5 在网站上的站点位置：http://archive-primary.cloudera.com/cdh5/redhat/6/x86_64/cdh/在RHEL6上配置指向这个repo非常简单，只要把：http://archive-primary.cloudera.com/cdh5/redhat/6/x86_64/cdh/cloude
原创
2023-01-10 11:12:08
98阅读
1. 相关目录 /var/log/cloudera-scm-installer : 安装日志目录。
/var/log/* : 相关日志文件（相关服务的及CM的）。
/usr/share/cmf/ : 程序安装目录。
/usr/lib64/cmf/ : Agent程序代码。
/var/lib/cloudera-scm-server-db/data : 内嵌数据库目录。
/usr/bin/p
入门笔记，如有错误还请大家指证 Hadoop集群一、认识Hadoop集群二、HDFS(一)、什么是HDFS(二)、HDFS的组件(三)、HDFS的作用(四)、HDFS常用命令(五)、HDFS的优缺点(六)、HDFS读写数据流程①HDFS写数据流程：②HDFS读数据流程：三、MapReducer(一)、什么是MapReduce?(二)、MapReduce的设计思想(三)、MapReducer的特点(
转载
2023-08-18 13:21:55
35阅读
Hadoop版本和生态系统1.Hadoop版本的优缺点目前市面上Hadoop版本主要有两种：Apache版本和CDH版本。
(1)Apache版本的Hadoop官网：http://hadoop.apache.org/Apache Hadoop 优势：对硬件的要求低。Apache Hadoop 劣势：搭建烦琐，维护烦琐，升级烦琐，添加组件烦琐。(2）CDH版本的Hadoop官网：https://ww
转载
2023-08-18 15:03:58
136阅读
与时俱进，开拓创新，积极进取。
原创
2022-10-19 14:26:21
88阅读
