# 安装Hadoop
## 介绍
Apache Hadoop是一个开源的分布式计算平台，用于处理大规模数据集的存储和分析。它基于Google的MapReduce和分布式文件系统（HDFS），可以在廉价的硬件上运行，并能够处理上百个节点上的数千个任务。
在本文中，我们将学习如何在CentOS上安装Hadoop，并进行一些基本配置。
## 环境准备
在开始安装Hadoop之前，我们需要准备一
原创
2023-11-10 15:04:08
25阅读
准备工作：4台节点服务器 1.1.1 JDK安装&配置好 参考JDK安装文章 1.1.2 4个节点服务器配置相互免密登录 参考配置免密登录文章下载Hadoop 下载地址
开发环境Linux平台: Centos6.5JDK版本：1.8( jdk-8u201-linux-x64【下载地址】)Hadoop 3.1.2 下载地址
1. 解压安装包到/opt目录下/usr 下是你安装系统是所安装的软
转载
2023-08-02 20:45:28
76阅读
一、实现功能添加hadoop常见组件，hdfs，yarn，hive，zookeeper，spark，flume，oozie等。二、添加hdfs1.点击添加hdfs然后添加hdfs2.namenode/secondarynamenode/datanode的资源分配3.之后配置4.等待部署三、yarn1.添加yarn2.选择机器3.默认配置4.成功结果5.测试上传hfds需要权限，修改hfds检查权限
转载
2023-07-21 14:25:54
84阅读
1.1 环境配置使用XShell软件，创建5个会话窗口，五个服务器的地址分别是：1.1.1 配置主机名、hosts文件# 主机名 # 配置各节点的主机名[root@main-master ~]# vim /etc/sysconfig/network#查看[root@main-master ~]# cat /etc/sysconfig/networkNETWORKING=yesHOSTNA
转载
2023-05-24 14:25:58
100阅读
1CDH和CM简介1.1什么是CDH1.2什么是CM1.3CM架构1.4心跳1.5CM 功能1.5.1配置管理1.5.2进程管理1.5.3软件包管理1.5.4主机管理1.5.5资源管理1.5.6用户管理1.5.7安全管理1.5.8管理服务2CM 5.14 搭建2.1环境的规划2.2主机环境准备2.3安装和配置元数据库2.4安装和配置CM2.5启动和验证CM2.6安装CDH 5.13.02.7无公网
转载
2024-01-29 23:22:46
46阅读
1.1原生Hadoop的问题版本管理过于混乱部署过程较为繁琐,升级难度较大兼容性差安全性低1.2CDH和CM(Cloudera Manager)CDH(Cloudera’s Distribution Including Apache Hadoop),是Hadoop众多分中的一种，由Cloudera公司维护，基于稳定版本的Apache Hadoop构建，并集成了很多补丁，可以直接
转载
2023-11-14 10:21:01
79阅读
一、CM 概述及架构1. CM概述cloudera managerment 简称，是由cloudera公司开源 ，对以Hadoop为基础的生态圈框架所组件的集成的分布式的自动化安装部署集群，并且会对安装部署后的集群的资源信息、框架的服务运作状态进行实时监控及报警的平台软件。CM框架只能安装cdh版本的大数据框架，Apache版本的Hadoop可以使用ambari框架进行安装及监控工作2.CDH版本
转载
2024-05-10 19:56:09
95阅读
文章目录CM的安装部署CM安装:修改CM Agent配置配置CM的数据库使用CM自带的脚本，在MySQL中创建CM库分发cm创建Parcel-repo服务节点启动集群中的机器工作节点全部启动CM的安装部署CM下载地址: http://archive.cloudera.com/cm5/cm/5/离线库下载地址: http://archive.cloudera.com/cdh5/parcels...
原创
2021-06-05 23:44:28
544阅读
# 配置 Hadoop Home 的步骤详解
作为一名刚入行的小白，配置环境变量可能让你感到困惑，尤其是在使用大数据框架 Hadoop 时。本文将指导你完成“cm配置hadoop home”的过程，帮助你进入大数据的世界。我们会通过一张流程表格、具体步骤和代码示例来全方位地解释这个过程。
## 1. 流程概述
下面是配置 Hadoop Home 的流程：
| 步骤 | 操作描述
原创
2024-09-04 04:25:20
24阅读
文章目录CM的安装部署CM安装:修改CM Agent配置配置CM的数据库使用CM自带的脚本，在MySQL中创建CM库分发cm创建Parcel-repo服务节点启动集群中的机器工作节点全部启动CM的安装部署CM下载地址: http://archive.cloudera.com/cm5/cm/5/
原创
2022-02-18 10:02:42
328阅读
Hadoop的安装首先登录CM管理平台 账号admin 密码 admin 勾选图示按钮选择继续，选择图示版本 点击继续选择当前管理的主机 选择下面的版本安装 这一步等了好长时间 接着下一步 关闭交换空间 & 大页面空间（三台都需要操作）#Cloudera建议将交换空间设置为0，过多的交换空间会引起GC耗时的激增，所以还是关闭的为好echo "vm.swappiness = 0" >&
转载
2023-06-02 14:05:28
72阅读
这篇博客之前好久写的，现在完善一下：一、Combiner的出现背景我们可以发现在Hadoop运行Wordcount的过程中会出现如下记录：Combine input records=0Combine output records=0其中有两个计数器： Combine output records 和 Combine input records ，他们的计数都是0，这是因为我们在代码中没有进行Map
转载
2024-01-08 18:39:12
26阅读
本章介绍在CentOS搭建Hadoop集群环境 一、 安装Hadoop1. 解压文件tar -zxvf hadoop-2.7.0-x64.tar.gz -C /opt #解压Hadoop2. 编辑全局变量vi /etc/profile增加以下全局变量export HADOOP_HOME=/opt/hadoop-2.7.0
export PATH=$HADOOP_HOME/bin:$HAD
转载
2023-06-30 21:40:16
57阅读
一、环境的准备 系统：CentOS 6.5版本，64位 内存：10GB 硬盘：40GB CPU：10核1、检查服务器资源 # free -m 查看系统内存分布使用情况 &n
转载
2024-01-07 12:02:28
72阅读
去年选修了《网络大数据处理理论与实践》课程，本篇博客记录一下当时的安装过程。环境及所需软件说明1) Ubuntu 14.04 x64（VMware 12.0虚拟机2台， Master：162.105.85.167 Slave1：162.105.85.184， 一个是master节点，一个是slave节点，
大数据已经火的不得了，不过很多人对大数据的理解仅限于Hadoop和一些基本的使用场景，比如进行日志分析。下面这篇文章，介绍了如何利用Hadoop框架结合常用的数据挖掘算法(Mahout)进行用户推荐，而是是使用Windows Azure作为运行平台，值得一读-----------------------------------------------------------------------
# 格式化hdfs
hadoop namenode -format
# 查看hadoop下的文件夹
hadoop fs -ls
# 创建hdfs文件夹
hadoop fs -mkdir /user/input
# 将本地文件file.txt 复制到新建文件夹,file->hdfs
hadoop fs -put /user/wangbin/input/ip_data.txt wangbin
#
## 如何在 CM 上安装 Spark
### 1. 整体流程
首先，让我们来看一下在 Cloudera Manager (CM) 上安装 Spark 的整体流程。下表展示了所有需要执行的步骤：
| 步骤 | 描述 |
| --- | --- |
| 1 | 在 CM 上创建一个新的集群 |
| 2 | 选择要在集群上安装的服务 |
| 3 | 配置并分配主机给每个服务 |
| 4 | 安装
原创
2023-07-22 00:23:50
69阅读
文章目录前言一、创建Hadoop用户二、设置环境变量三、设置local无密码登陆四、修改/etc/hosts主机名和IP地址的映射文件五、设置远程无密码登陆六、每台都关闭机器的防火墙七、jdk安装八、Hadoop安装九、修改Hadoop的配置文件公平调度容量调度器总结 前言Hadoop有Apache社区版和第三方发行版CDH，Apache社区版优点是完全开源免费 社区活跃 文档、资料详实。缺点是
转载
2024-01-09 22:33:49
49阅读
1、CM和CDH在安装的时候遇到的问题：通过Cloudera WEB界面安装Hadoop过程中，在安装Parcel步骤时，一个节点分配激活失败，报错信息显示”主机运行状况不良”，如下图所示。解决方法：删除agent目录下面的cm_guid文件，并重启失败节点的agent服务恢复。那一台服务器的状况不良，在哪一台中执行。cd /var/lib/cloudera-scm-agent/
rm -rf
转载
2023-12-14 19:30:33
49阅读
