一、背景因为最近使用hadoop发现了一些问题，而且也没有太多的时间去对其本身进行修改，所以，在朋友的建议下采用了cloudera的CDH3版本。相对来说比较稳定和可靠，官网的地址如下：http://www.cloudera.com/二、CentOS和JDK安装步骤1、进入到centOS的官方网址http://isoredirect.centos.org/centos/5/isos/x86_64/
转载
2024-07-26 12:58:55
48阅读
1.概述在CDH的默认安装包中，是不包含Kafka，Kudu和Spark2的，需要单独下载特定的Parcel包才能安装相应服务。本文档主要描述在离线环境下，在CentOS6.5操作系统上基于CDH5.12.1集群，使用Cloudera Manager通过Parcel包方式安装Kudu、Spark2和Kafka的过程。内容概括Kudu安装Spark2安装Kafka安装服务验证测试环境操作系统版本：
转载
2024-03-22 08:51:54
200阅读
1.基础环境准备1.1创建一个新的虚拟机1.2安装虚拟机，设置ROOT密码并创建用户名为cdh的用户。 1.3修改配置文件 1.4测试是否可以联网 1.5安装常用命令 1.6关闭防火墙 1.7复制两台虚拟机并修改名称 1.8生成MAC地址并记录此地址之后取消 1.9启动第二台虚拟机 1.10修改配置文件，修改以下三处内容（MAC地址为之前记录的）。 1.11修改MAC地址与配置文件中一致 1.12
转载
2024-04-24 11:29:42
208阅读
一．软件准备：1.下载cloudera-manager-installer.bin（安装。。。-server），cdh4、cm（这是。。。-agent），另外还有些需要的关联软件下步添加。2.先建本地源（详见），然后下载cloudera-manager-server的关联软件（不清楚具体需要哪些），本人是在本地安装一次server，这样需要的软件都在本地源的机器上，按步骤添加到源即可。另外把cm和
转载
2024-04-24 16:39:51
20阅读
1、基础环境配置主机名IP地址角色Hadoop用户centos05192.168.48.105NameNode、ResourceManager、SecondaryNameNode、DataNode、NodeManagerhadoop1.1、关闭防火墙和SELinux1.1.1、关闭防火墙略1.1.2、关闭SELinux略 注：以上操作需要使用root用户1.2、hosts配置
转载
2024-09-26 17:02:17
57阅读
目录一、基础软件版本信息：1、CDH对CentOS的版本要求：2、CDH对数据库版本的要求：3、CDH对jdk版本的要求：4、CDH对浏览器的要求：5、CDH对网络配置的要求：6、CDH对安全传输协议（TLS）的要求：7、CDH相关软件下载：（1）Cloudera Manager(CM)下载地址：（2）CDH安装包下载地址：（3）本次采用的CM和CDH版本如下：二、CDH基本优势：三、CDH集群安
转载
2024-08-21 18:55:38
0阅读
Hadoop的高可用安装本文主要讲hadoop的高可用安装过程以及一些本人在安装过程中遇到的错误和解决方法。1.HA安装方案2.分发jdk到node04，05，06scp jdk-7u67-linux-x64.rpm node04:`pwd`
scp jdk-7u67-linux-x64.rpm node05:`pwd`
scp jdk-7u67-linux-x64.rpm node06:`pwd
转载
2024-06-09 09:52:11
75阅读
前期准备
配置hosts
192.168.245.105 scm-node1
192.168.245.106 scm-node2
192.168.245.107 scm-node3设置hostname
在192.168.245.105上执行
sudo hostnamectl --static --transient set-hostname scm-node1
在192.168.245.106
转载
2024-05-11 22:51:57
54阅读
1. 离线数据存储及查询环境部署离线数据的存储与查询主要是以hadoop为中心的技术栈，包括hive，hbase，hue，kylin等。部署hadoop的方式比较流行的主要有三种： 1. 直接部署Apache Hadoop，即手工部署，需要自己配置，协调版本兼容等，好处是能够加深理解，但是过程较繁琐。 2. Ambari ：Hortonworks的产品，用于创建，管理，监视hadoop集群，完
转载
2024-03-25 16:24:11
168阅读
一、HAWQ高可用简介 HAWQ作为一个传统数仓在Hadoop上的替代品，其高可用性至关重要。通常硬件容错、HAWQ HA、HDFS HA是保持系统高可用时需要考虑并实施的三个层次。另外实时监控和定期维护，也是保证集群所有组件健康的必不可少的工作。 总的来说，HAWQ容错高可用的实现方式包
转载
2024-06-21 22:41:48
117阅读
参考文档：
http://www.cloudera.com/documentation/cdh/5-1-x/CDH5-Installation-Guide/cdh5ig_hdfs_mountable.html
挂载HDFS
CDH5包含一个HDFS的接口FUSE（用户空间文件系统），FUSE能让你写一个正常的用户空间应用程序作为一个传统文件系统接口。hadoop-hdf
原创
2023-06-16 00:30:04
344阅读
我们这个教程是在 centos 上安装cdh的教程，而且使用的是yum方式，不建议使用界面化方式，因为用过linux的都知道，命令行出错更少，其实更轻松更靠谱。安装之前：1. 安装jdkcdh5 对应的jdk 是 oracle-jdk 1.7.0_25 ，注意是 oracle-jdk ，千万别 yum install jdk 就完事了，因为那样装的是 openjdk到这边 http://www.o
转载
2024-08-02 07:18:00
29阅读
一、概述CDH 是一个拥有集群自动化安装、中心化管理、集群监控、报警功能的一个工具（软件），使得集群的安装可以从几天的时间缩短为几个小时，运维人数也会从数十人降低到几个人，极大的提高了集群管理的效率。cloudera官网：https://www.cloudera.com/二、安装环境准备1、文件准备所有文件如下图所示：1.1、主机信息文件hostname.txt 文件格式：IP地址=主机名=用户名
转载
2024-03-28 13:05:22
96阅读
Cloudera CDH4安装方法有三种：1、通过Cloudera Manager自动安装（只支持64bit linux操作系统）；2、通过资源包，利用Yum命令手工安装；3、通过下载的tarball包，手工安装； 个人建议1、2两种都尝试，先2后1的方式对Hadoop的架构，内置的组件以及配置等会要
转载
2024-04-19 16:10:10
34阅读
HDFS常用命令类似于Linux的ls命令，显示文件列表 hdfs dfs -ls /在整个目录下递归执行ls, 与UNIX中的ls-R类似 hdfs dfs -ls -R /创建目录。使用-p参数可以递归创建目录 hdfs dfs -mkdir dir2 hdfs dfs -mkdir -p dir3/testput 将单个的源文件src或者多个源文件srcs从本地文
转载
2024-02-19 17:56:09
48阅读
手动故障切换到备用NameNode使用Cloudera Manager手动故障转移到备用NameNode如果您正在运行启用了HA的HDFS服务，则可以手动使活动的NameNode故障切换到备用NameNode。这对计划中的停机时间很有用 - 用于主要主机的硬件更改，配置更改或软件升级。 1.转到HDFS服务。 2.单击实例选项卡。 3.点击联合和高可用性。 4.找到要在NameNode上进
转载
2024-03-20 20:39:15
51阅读
本篇文章单节点安装 hdfs hive ，实乃学习大数据必备的教程，环境为：Centos7 JDK8.0 cdh5.15.1 下载地址： http://archive.cloudera.com/cdh5/cdh/5/ hadoop版本：hadoop-2.6.0-cdh5.15.1.tar.gz hi
原创
2022-01-06 16:27:46
449阅读
大家好，今天分享一款OLAP神器的安装方法。学习靠努力和坚持。能动手的地方不要动嘴(实操胜于一切)。 01—Apache Kylin是什么 Apache Kylin是一个开源的、分布式的分析型数据仓库，提供Hadoop/Spark 之上的 SQL 查询接口及多维分析(OLAP)能力以支持超大规模数据，最初由 eBay 开发并贡献至开源社区。它能在亚秒内查询巨大的表。Kylin也是国内首个贡
转载
2024-03-18 11:14:43
44阅读
cdh-hadoop2.6.0伪分布式环境搭建标签（空格分隔）： hadoop基础之环境搭建1.windows环境准备1.下载软件Vmware Station
http://www.vmware.com/cn（不限版本，最好10或以上）
2.下载CentOS
https://www.centos.org/download/（64位即可，最好6.5版本）
3.安装
打开vmware WorkStai
1.MapReduce shuffle处理程序和IFile阅读器使用本机Linux调用，在安装了Hadoop本机库的Linux系统上。
2.改善随机处理程序
1.您可以通过启用shuffle readahead来改进MapReduce shuffle处理程序的性能。
这会导致TaskTracker或节点管理器在通过套接字将其发送到reducer之前预读取
转载
2024-07-19 18:34:19
50阅读
