本章介绍在CentOS搭建Hadoop集群环境 一、 安装Hadoop1. 解压文件tar -zxvf hadoop-2.7.0-x64.tar.gz -C /opt #解压Hadoop2. 编辑全局变量vi /etc/profile增加以下全局变量export HADOOP_HOME=/opt/hadoop-2.7.0
export PATH=$HADOOP_HOME/bin:$HAD
转载
2023-06-30 21:40:16
57阅读
# 安装Hadoop
## 介绍
Apache Hadoop是一个开源的分布式计算平台，用于处理大规模数据集的存储和分析。它基于Google的MapReduce和分布式文件系统（HDFS），可以在廉价的硬件上运行，并能够处理上百个节点上的数千个任务。
在本文中，我们将学习如何在CentOS上安装Hadoop，并进行一些基本配置。
## 环境准备
在开始安装Hadoop之前，我们需要准备一
原创
2023-11-10 15:04:08
25阅读
一、实现功能添加hadoop常见组件，hdfs，yarn，hive，zookeeper，spark，flume，oozie等。二、添加hdfs1.点击添加hdfs然后添加hdfs2.namenode/secondarynamenode/datanode的资源分配3.之后配置4.等待部署三、yarn1.添加yarn2.选择机器3.默认配置4.成功结果5.测试上传hfds需要权限，修改hfds检查权限
转载
2023-07-21 14:25:54
84阅读
1.1 环境配置使用XShell软件，创建5个会话窗口，五个服务器的地址分别是：1.1.1 配置主机名、hosts文件# 主机名 # 配置各节点的主机名[root@main-master ~]# vim /etc/sysconfig/network#查看[root@main-master ~]# cat /etc/sysconfig/networkNETWORKING=yesHOSTNA
转载
2023-05-24 14:25:58
100阅读
1.1原生Hadoop的问题版本管理过于混乱部署过程较为繁琐,升级难度较大兼容性差安全性低1.2CDH和CM(Cloudera Manager)CDH(Cloudera’s Distribution Including Apache Hadoop),是Hadoop众多分中的一种，由Cloudera公司维护，基于稳定版本的Apache Hadoop构建，并集成了很多补丁，可以直接
转载
2023-11-14 10:21:01
79阅读
1CDH和CM简介1.1什么是CDH1.2什么是CM1.3CM架构1.4心跳1.5CM 功能1.5.1配置管理1.5.2进程管理1.5.3软件包管理1.5.4主机管理1.5.5资源管理1.5.6用户管理1.5.7安全管理1.5.8管理服务2CM 5.14 搭建2.1环境的规划2.2主机环境准备2.3安装和配置元数据库2.4安装和配置CM2.5启动和验证CM2.6安装CDH 5.13.02.7无公网
转载
2024-01-29 23:22:46
46阅读
# 配置 Hadoop Home 的步骤详解
作为一名刚入行的小白，配置环境变量可能让你感到困惑，尤其是在使用大数据框架 Hadoop 时。本文将指导你完成“cm配置hadoop home”的过程，帮助你进入大数据的世界。我们会通过一张流程表格、具体步骤和代码示例来全方位地解释这个过程。
## 1. 流程概述
下面是配置 Hadoop Home 的流程：
| 步骤 | 操作描述
原创
2024-09-04 04:25:20
24阅读
这篇博客之前好久写的，现在完善一下：一、Combiner的出现背景我们可以发现在Hadoop运行Wordcount的过程中会出现如下记录：Combine input records=0Combine output records=0其中有两个计数器： Combine output records 和 Combine input records ，他们的计数都是0，这是因为我们在代码中没有进行Map
转载
2024-01-08 18:39:12
26阅读
Hadoop的安装首先登录CM管理平台 账号admin 密码 admin 勾选图示按钮选择继续，选择图示版本 点击继续选择当前管理的主机 选择下面的版本安装 这一步等了好长时间 接着下一步 关闭交换空间 & 大页面空间（三台都需要操作）#Cloudera建议将交换空间设置为0，过多的交换空间会引起GC耗时的激增，所以还是关闭的为好echo "vm.swappiness = 0" >&
转载
2023-06-02 14:05:28
72阅读
一、环境的准备 系统：CentOS 6.5版本，64位 内存：10GB 硬盘：40GB CPU：10核1、检查服务器资源 # free -m 查看系统内存分布使用情况 &n
转载
2024-01-07 12:02:28
72阅读
准备工作：4台节点服务器 1.1.1 JDK安装&配置好 参考JDK安装文章 1.1.2 4个节点服务器配置相互免密登录 参考配置免密登录文章下载Hadoop 下载地址
开发环境Linux平台: Centos6.5JDK版本：1.8( jdk-8u201-linux-x64【下载地址】)Hadoop 3.1.2 下载地址
1. 解压安装包到/opt目录下/usr 下是你安装系统是所安装的软
转载
2023-08-02 20:45:28
76阅读
大数据已经火的不得了，不过很多人对大数据的理解仅限于Hadoop和一些基本的使用场景，比如进行日志分析。下面这篇文章，介绍了如何利用Hadoop框架结合常用的数据挖掘算法(Mahout)进行用户推荐，而是是使用Windows Azure作为运行平台，值得一读-----------------------------------------------------------------------
# 格式化hdfs
hadoop namenode -format
# 查看hadoop下的文件夹
hadoop fs -ls
# 创建hdfs文件夹
hadoop fs -mkdir /user/input
# 将本地文件file.txt 复制到新建文件夹,file->hdfs
hadoop fs -put /user/wangbin/input/ip_data.txt wangbin
#
工作比较闲，就在写一篇关于CDH的部署手册练练手，反正都是paas层基础能力； 目录基础包和环境准备rpm包和parcel包 主机配置 制作本地yum源安装cloudera-manager配置cdh中的大数据相关组件扩容新机器。vm虚拟机内安装CM+CDH6.1.0，centos7系统，本机资源有限，
原创
2023-04-13 11:52:54
540阅读
文章目录前言一、创建Hadoop用户二、设置环境变量三、设置local无密码登陆四、修改/etc/hosts主机名和IP地址的映射文件五、设置远程无密码登陆六、每台都关闭机器的防火墙七、jdk安装八、Hadoop安装九、修改Hadoop的配置文件公平调度容量调度器总结 前言Hadoop有Apache社区版和第三方发行版CDH，Apache社区版优点是完全开源免费 社区活跃 文档、资料详实。缺点是
转载
2024-01-09 22:33:49
49阅读
1、CM和CDH在安装的时候遇到的问题：通过Cloudera WEB界面安装Hadoop过程中，在安装Parcel步骤时，一个节点分配激活失败，报错信息显示”主机运行状况不良”，如下图所示。解决方法：删除agent目录下面的cm_guid文件，并重启失败节点的agent服务恢复。那一台服务器的状况不良，在哪一台中执行。cd /var/lib/cloudera-scm-agent/
rm -rf
转载
2023-12-14 19:30:33
49阅读
CM自动化安装CDH5.14.0详解 目前企业级大数据集群安装有两套方案：Ambari + hdp 或者Cloudera Manger + CDH CDH：一个对Apache Hadoop的集成环境的封装，可以使用Cloudera Manager进行自动化安装 CDH5.14.0版本说明 CDH最早版本只包含hadoop、hive、hbase等基础组件，CDH5.14.0版本目前已经封装了spar
转载
2023-11-20 07:04:51
46阅读
在众多 Hadoop 版本中， CDH（Cloudera Hadoop） 是 Hadoop 众多分支中比较出色的版本， 它由Cloudera 发行和维护。CDH 基于 Apache 的 Hadoop 进行重新构建，提供了基于 Web 页面的群集部署和管理操作。Hadoop发行版除了社区的Apache hadoop外，Cloudera Hadoop（CDH）、Hortonworks、MapR、EMC、IBM、INTEL、华为等都提供自己的商业版本。
推荐
原创
2022-07-08 23:38:26
2605阅读
点赞
3图
1、巡检HDFS 为集群提供高可用性弹性存储服务，是集群的存储主体。每日早晚巡检HDFS 服务，包括HDFS 服务可用性、存储使用率、datanode 是否有故障盘等。1.1、HDFS 总体状态①HDFS 状态，如下的红色提示需要关注 ②HDFS 容量是否过阈值1.2、HDFS UI 巡检1.2.1、summary巡检对应上图所示标号，逐一进行解释：（1
转载
2023-07-10 14:55:22
1020阅读
本篇博文为整理网络上Hadoop-HA搭建后出来的博客，参考网址为：http://blog.chinaunix.net/uid-196700-id-5751309.html3. 部署3.1. 机器列表共5台机器（zookeeper部署在这5台机器上），部署如下表所示：NameNodeJournalNodeDataNodeZooKeeper192.168.106.91192.16
转载
2024-01-09 16:32:42
277阅读
