http://blog.csdn.net/yhl27/article/details/37726639
转载
2017-11-07 13:32:30
635阅读
昨天晚上刚刚配置好了3台主机的集群，想着把集群的配置过程详细的记录下来，以备不时之需，就顺便把cdh-Hadoop伪分布式安装教程也详细记录下来。在没有深入接触大数据之前，我也不知道cdh和Apache的Hadoop有什么区别。但是随着不断的深入，慢慢的了解到cdh的好处，cdh版本的Hadoop会帮我们编译好Hadoop。例如当我们学习到hive，flume，sqoop……时，如果用的是Apac
转载
2024-10-12 11:35:56
16阅读
一、准备工作$ hostnamectl set-hostname hadoop01
$ hostnamectl set-hostname hadoop02
......
所有机器关闭防火墙
$ systemctl stop firewalld.service
设置Master到其他机器的ssh免密登录
$ ssh-kengen
$ ssh-copy-id hadoop01
$ ssh-copy-i
转载
2023-07-04 14:38:05
87阅读
环境三台天翼云主机 （node209, node452, nod
原创
2023-07-24 18:04:39
73阅读
修改host[root@hadoop1 tmp]# cat /etc/hosts127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4::1 localhost localhost.localdomain localhost6 lo
原创
2015-03-30 14:38:56
706阅读
Cloudera manage（离线）安装手册（按步骤操作）1. 准备工作1.1. 系统环境硬件设备：vm虚拟机网络组成： &
原创
2017-08-18 10:31:57
10000+阅读
环境介绍：在我的CDH5.11.1的集群中，默认已经安装的spark是1.6版本，这里需要将其升级为spark2.1版本。经查阅官方文档，发现spark1.6和2.x是可以并行安装的，也就是说可以不用删除默认的1.6版本，可以直接安装2.x版本，它们各自用的端口也是不一样的。我尝试了安装spark2.0版本和spark2.1版本，均告成功。这里做一下安装spark2.1版本的步骤记录。官网发布Cl
转载
2023-08-31 20:58:17
85阅读
今天在安装hadoop后，启动start-yarn.sh后，nodemanager起不起来，后来查看DN节点的日志，报了以下一个错误： FATAL org.apache.hadoop.yarn.server.nodemanager.NodeManager: Error starting NodeManager java.lang.IllegalArgumentException: T...
原创
2023-03-28 06:55:31
80阅读
## 实现Docker CDH5的步骤
为了让新手开发者能够更好地理解和实现Docker CDH5，我将按照以下步骤进行说明：
```mermaid
flowchart TD
A[准备环境] --> B[安装Docker]
B --> C[配置Docker镜像加速]
C --> D[拉取CDH5镜像]
D --> E[创建并启动CDH5容器]
```
###
原创
2023-12-03 14:41:19
60阅读
CDH的离线安装和使用
原创
2023-04-03 21:19:51
70阅读
前言 基于前面的搭建，就会发现三台容器都是发布到一台物理机上，在一台物理机上实现了CDH集群的效果，这拿来测试还行，当时实际环境下，资源是远远不够用的。 接下来，将基于前面的的步骤，使用安装包搭建完全分布式的CDH集群，在多个物理机上时间CDH集群的搭建。 跨服务容器之间的通讯问题是搭建完全
转载
2023-07-04 09:50:09
243阅读
目录组件版本0.CDH介绍1.Linux 虚拟机基础环境1.1 虚拟机环境设置（不改变已生的MAC地址）1.2 虚拟机修改Mac和IP1.3 虚拟机修改对应主机名与域名映射1.4 虚拟机关闭防火墙1.5 SELinux 关闭1.6 虚拟机免密码登录1.7 三台机器时钟同步 & 安装一些依赖包1.8 修改系统参数2. 安装 java3. 安装 mysql4. CM服务安装5. CDH等相关安
转载
2023-07-14 18:30:23
240阅读
cdh5 hadoop redhat 本地仓库配置cdh5 在网站上的站点位置：http://archive-primary.cloudera.com/cdh5/redhat/6/x86_64/cdh/在RHEL6上配置指向这个repo非常简单，只要把：http://archive-primary.cloudera.com/cdh5/redhat/6/x86_64/cdh/cloude
原创
2023-01-10 11:12:08
98阅读
文章目录版本查看命令创建主题查看有哪些主题查看某个主题的描述生产和消费压测1、创建单分区单副本主题2、写测试3、读测试配置最大Java堆大小日志数据存储路径默认副本数日志保留策略接受消息的大小其它 版本查看在页面查看：点击具有Kafka服务的主机，然后点击组件在服务器查看 如图2.11是Scala版本，2.2.1是Kafka版本 如果不知道CDH装哪，就把/opt/cloudera换成/find
转载
2024-05-22 10:16:09
170阅读
1. 相关目录 /var/log/cloudera-scm-installer : 安装日志目录。
/var/log/* : 相关日志文件（相关服务的及CM的）。
/usr/share/cmf/ : 程序安装目录。
/usr/lib64/cmf/ : Agent程序代码。
/var/lib/cloudera-scm-server-db/data : 内嵌数据库目录。
/usr/bin/p
入门笔记，如有错误还请大家指证 Hadoop集群一、认识Hadoop集群二、HDFS(一)、什么是HDFS(二)、HDFS的组件(三)、HDFS的作用(四)、HDFS常用命令(五)、HDFS的优缺点(六)、HDFS读写数据流程①HDFS写数据流程：②HDFS读数据流程：三、MapReducer(一)、什么是MapReduce?(二)、MapReduce的设计思想(三)、MapReducer的特点(
转载
2023-08-18 13:21:55
35阅读
原理目前的CDH集群安装的配置主要考虑的是内存和CPU核数的分配，因为内存和CPU的配置直接影响集群的性能。其他的配置则跟集群整体规划有关，如NameNode，ResourceManager，zookeeper等安装在哪；block块的大小；以及是否需要开启CDH本身提供的一些功能等等。所以以下会分两个部分描述集群的配置文件：内存和CPU参数部分，其他常用配置部分。最后给出整个集群的详细配置参数以
转载
2023-08-18 13:22:38
133阅读
文件下载CDH (Cloudera’s Distribution, including Apache Hadoop)，是Hadoop众多分支中的一种，由Cloudera维护，基于稳定版本的Apache Hadoop构建，并集成了很多补丁，可直接用于生产环境。Cloudera Manager则是为了便于在集群中进行Hadoop等大数据处理相关的服务安装和监控管理的组件，对集群中主机、Hadoop、H
转载
精选
2016-11-30 16:35:51
3648阅读
一、Cloudera Manager/CDH51、关于cloudera manager和CDH是什么，这里不做详细介绍了。有官网和百科介绍。附上官网地址：cloudera manager2、官网的安装指南官方文档提供了三种安装方式：在线自动安装/手动安装包安装/手动使用cloudera manager管理安装此处使用第三种方式安装hadoop集群。二、环境规划1、系统：CentOS 6.4_x86
原创
2015-04-29 12:38:21
4492阅读
Configuring HardWare For HDFS HA为了使用Quorum-based存储去部署一个HA集群，应该做如下准备1.NameNode：运行Active和Standbye的NameNode应该有等价的配置。2.JournalNode：运行Journalnode的节点3.JounalNode进程相对轻量，因此这些进程可以相对合理的和其他的进程并存，例如NameNode，JobTr
原创
2014-04-22 22:27:20
3088阅读
