目录一、准备与规划1、硬件准备2、软件准备3、主机规划二、系统安装三、网络配置1、配置虚拟机网络2、使用XShell连接虚拟机四、环境配置1、安装必备软件2、配置hosts3、创建hadoop用户4、关闭防火墙5、时间同步6、安装JDK五、克隆虚拟机1、克隆虚拟机2、配置克隆虚拟机网卡3、配置免密登录ssh六、Cloudera Manager安装1、安装mysql2、搭建本地软件仓库3、安装Clo
转载
2023-10-26 16:16:42
280阅读
需要的安装包：Jdk压缩包hadoop压缩包注意：下载安装包的时候最好不要下载最新版本，建议下载上一个版本。jdk 安装很简单，把压缩文件解压，解压后的目录加入环境变量就可以了，这里就不详细说了，重点放在hadoop集群环境搭建。下面开始部署集群一、使用vmware创建两台虚拟机，我使用的是centos7，设置hostname，关闭防火墙。虚拟机创建好之后修改主机名，一台改为master，一台sl
转载
2023-07-04 14:27:12
155阅读
目录 目录 实验环境 安装 Hadoop 配置文件 在另外两台虚拟机上搭建hadoop 启动hdfs集群 启动yarn集群 目录 实验环境 安装 Hadoop 配置文件 在另外两台虚拟机上搭建hadoop 启动hdfs集群 启动yarn集群 目录 实验环境 安装 Hadoop 配置文件 在另外两台虚
转载
2017-05-16 13:19:00
120阅读
一、集群规划如果你正准备从0开始搭建一套CDH集群应用于生产环境，那么此时需要做的事情应该是 结合当前的数据、业务、硬件、节点、服务等对集群做合理的规划，而不是马上动手去安装软件。合理的集群规划应该做到以下几点：充分了解当前的数据现状与业务方深入沟通，了解将会在集群上运行的业务，集群将会为业务提供什么服务结合数据现状与业务，合理预估未来的数据量增长盘点当前可用的硬件资源，包括机柜机架、服
转载
2023-08-03 15:49:30
136阅读
工欲善其事必先利其器。Cloudera是一个非常简单方便的，用来部署和管理Hadoop集群的工具。
1. Cloudera介绍Hadoop是一个开源项目，Cloudera对Hadoop进行了商业化，简化了安装过程，并对hadoop做了一些封装。 根据使用的需要，Hadoop集群要安装很多的组件，一个一个安装配置起来比较麻烦，还要考虑HA，监控等
转载
2023-07-10 15:46:37
179阅读
1. Hadoop是什么Hadoop是一个由Apache基金会所开发的分布式系统基础架构。主要解决，海量数据的存储和海量数据的分析计算问题。广义上来说，Hadoop通常是指一个更广泛的概念——Hadoop生态圈。2. Hadoop的三大发行版本Apache版本最原始（最基础）的版本，对于入门学习最好。2006年Cloudera内部集成了很多大数据框架，对应产品CDH ,2008年Hortonwor
转载
2023-10-08 00:22:45
69阅读
一、Hadoop在CDH和HDP中的使用咱们前面学习了官方的Apache Hadoop版本，我们前面也说了，在实际工作中其实会使用CDH或者HDP，那下面我们就看一下在CDH和HDP中如何操作Hadoop。注意了，在这里我不打算讲CDH和HDP的安装部署，意义不大，咱们是开发人员，主要侧重于代码开发，安装部署的工作是运维人员的，咱们不能抢饭碗啊，什么都让你做了，别人不就得喝西北风啊，这样太不地道了
转载
2023-07-04 14:14:50
99阅读
从零搭建生产Hadoop集群（三）——CDH集群搭建一、概述二、硬件检查与系统配置1.硬件检查1）检查内存2）检查所有磁盘挂载。将noatime参数写入/etc/fstab，并remount所有数据盘。3）检查磁盘读写4）检测网卡设置5）检测路由6）检查系统版本2.系统配置1）配置hostname与/etc/hosts（所有节点）设置hostname设置/etc/hosts2）所有节点安装SSH
转载
2023-07-04 14:54:50
0阅读
说明：【一、CDH5.16.2集群之VMware-workstation-14安装】【二、CDH5.16.2集群之三台虚拟机安装】【三、CDH5.16.2集群之三台虚拟机配置网络配置】【四、CDH5.16.2集群之XShell连接虚拟机】一、集群前期配置1、安装JAVA（三台虚拟机都执行） 卸载自带的Java 执行：rpm -qa | grep -i java 执行如下命令卸载上图中箭头所指的四个
一、搭建环境1.云服务器硬件服务器名称内网IPCPU内存硬盘nn172.30.128.212CPU2核内存16G硬盘40Gsnn172.30.128.213CPU2核内存16G硬盘40Gdn1172.30.128.211CPU1核内存4G硬盘40Gdn2172.30.128.214CPU1核内存4G硬盘40Gdn3172.30.128.215CPU1核内存4G硬盘40G2.软件环境 所有服务器系统
接下来就是登录友好的用户界面了 ！！！！！！！！！！！！！！！！！一、CDH5 安装用户名和密码 刚开始登录的时候都是admin免费版本的 CM5 已经去除 50 个节点数量的限制了 ！！！！！！！！！！！！！！选择免费版本。继续各个 Agent 节点正常启动后，可以在当前管理的主机列表中看到对应的节点。 选择要安装的节点，点继续。 接下来，出现箭头指向的包名，说明本地 Parcel 包
hadoop
转载
2018-10-12 14:26:38
835阅读
1首先对于一个java还白的小白，先理解CDH与Hadoop的关系一、Hadoop版本选择。Hadoop大致可分为Apache Hadoop和第三方发行第三方发行版Hadoop，考虑到Hadoop集群部署的高效，集群的稳定性，以及后期集中的配置管理，业界多使用Cloudera公司的发行版，简称为CDH。下面是转载的Hadoop社区版本与第三方发行版本的比较：Apache社区版本优点：完全开源免费。
转载
2023-07-16 21:23:33
345阅读
前言 由于项目数据安全的需要，这段时间看了下hadoop的distcp的命令使用，不断的纠结的问度娘，度娘告诉我的结果也让我很纠结，都是抄来抄去，还好在牺牲大量的时间的基础上还终于搞出来了，顺便写这个随笔，记录下。环境 目前我们是两套同版本的CDH集群，集群内的节点通信使用的私网，提供浮动ip对外通信，也就是说，两个集群间的私网是不互通的，只能通过浮动ip进行通信。操作使用hadoop提供的d
转载
2023-07-28 15:58:51
316阅读
文章目录一、Hadoop是什么二、Hadoop三大发行版本1.Apche Hadoop2.Cloudera Hadoop3.Hortonworks Hadoop三、Hadoop的优势1.高可靠性2.高扩展性3.高效性4.高容错性四、Hadoop组成1.HDFS组成概述2.YARN组成概述3.MapReduce组成概述总结 一、Hadoop是什么Hadoop是一个由Apache基金会所开发的分布式
转载
2023-07-04 14:23:54
91阅读
Hadoop安装前准备环境Hadoop版本信息Hadoop是一款开源软件，并且开源社区比较活跃，所以Hadoop的版本也就比较多，主要三大版本： Apache Hadoop版本(社区版本) 迭代周期较短，更新较快，完全免费。 Hortonworks数据平台 Hortonworks提供了高可用性支持、高性能的Hive ODBC驱动。CDH信息
转载
2023-07-04 14:40:19
164阅读
前言 折腾了一段时间hadoop的部署管理，写下此系列博客记录一下。 为了避免各位做部署这种重复性的劳动，我已经把部署的步骤写成脚本，各位只需要按着本文把脚本执行完，整个环境基本就部署完了。部署的脚本我放在了开源中国的git仓库里()。 本文的所有部署都基于cloudera公司的CDH4,CDH4是cloudera公司包装好的hadoop生态圈一系列yum包，把
CDH集群搭建这篇文档将着重介绍Cloudera管理器域CDH的安装,并基于以下假设:1.CentOS-6.5-x86_64-bin-DVD1.iso 下载2.安装CentOS3.安装JDK(3台克隆机同时操作)4.配置免密登陆5.时间同步（必须root用户）6.安装mysql7.CM安装部署8.启动和关闭CM Server&Agent 服务9.访问 这篇文档将着重介绍Cloudera管理
转载
2023-10-20 09:19:58
67阅读
一、Hadoop是什么？Hadoop是这样一个框架，它可以通过使用简单的编程模型来对跨计算机的集群中的大型数据集进行分布式的处理。它被设计成可以从单个服务器扩展到数千台机器，每个机器都提供本地的计算和存储。与依赖于硬件来保证高可用性不同，该库本身的设计目的是检测和处理应用程序层的故障，因此可以在众多计算机组成的集群的顶部提供一个高可用的服务，但是组成集群的每一个计算机都有可能出现故障。上面是Had
```mermaid
erDiagram
PARTICIPANT 经验丰富的开发者 AS Dev
PARTICIPANT 刚入行的小白 AS Newbie
RELATIONSHIP {
Dev -> Newbie: 指导
}
```
# CDH集群hadoop目录实现流程
## 1. 创建Hadoop目录结构
首先，我们需要创建Hadoop的目
