1 Hadoop三大发行版本Hadoop三大发行版本：ApacheClouderaHortonworksApache版本最原始（最基础）的版本，对于入门学习最好。Cloudera在大型互联网企业中用的较多。Hortonworks文档较好。Apache Hadoop官网地址：http://hadoop.apache.org/releases.html 下载地址：https://archive.apa
转载
2024-07-23 13:37:23
55阅读
Python 作为现在比较流行的语言，自然有它的优势所在，这个以后再提，至于为什么要选择Python，相信在以后的日志中大家会得到越来越明了的答案。现在我们从最基础的部分开始，对于世界上任何一种编程语言，我们好像都是从“Hello World ！”开始的，甚至在百度百科上都有了Hello World 的专项，地址见： http://baike.baidu.com/view/47227.
//2008-12-15 17:13
最近一直在安装部署这个Hadoop集群,现在已经成功了,分享下经历.我基本上是从来没用过Linux,只会一些简单的命令,这回成功让我的信心大增.
首先我推荐有能力的朋友先看以下两篇文章,基本上就会成功部署了.
单节点Hadoop配置: http://www.michael-noll.com
转载
2024-08-02 10:28:16
41阅读
##1)Environment initialization
Note：At least three nodes,
the Master node at least 6G of memory,
and the other two&nbs
原创
2017-07-27 15:37:23
1637阅读
点赞
1.hadoop介绍 Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统（HDFS，Hadoop Distributed Filesystem）和MapReduce（Google MapReduce的开源实现）为核心的Hadoop为用户提供了系统底层细节透明的分布式基础架构。 对于Hadoop的集群来讲，可以分成两大类角色：Master和Salve。一
原创
2015-11-06 18:37:27
1416阅读
目的
如果真对一个项目，做高负载，高可用，高性能部署方案。以互联网上一个开源项目为例，一起说说分布式集群运维部署整个过程。
大型项目
如果采用单节点，首选性能会很差，其次因为没有冗余节点，一旦某个节点的宕机，就会出现整个系统的业务停机。所有集群话的方案是必然的， 准备采用5节点的mysql集群，6节点的redis集群，3节点的tomcat集群，2个节点的ng
转载
2024-07-04 15:10:29
59阅读
1、Apache Hadoop 不足之处 • 版本管理混乱 • 部署过程繁琐、升级过程复杂 • 兼容性差 • 安全性低 2、Hadoop 发行版 • Apache Hadoop • Cloudera’s Distribution Including Apache Hadoop（CDH） • Hort
转载
2019-06-04 16:23:00
204阅读
1、Apache Hadoop 不足之处 • 版本管理混乱 • 部署过程繁琐、升级过程复杂 • 兼容性差 • 安全性低 2、Hadoop 发行版 • Apache Hadoop • Cloudera’s Distribution Including Apache Hadoop（CDH） • Hort
转载
2021-01-13 15:08:00
238阅读
2评论
【一】Cloudera Manager 安装 一\\系统环境准备(三台机器server1,
原创
2022-11-07 08:36:45
727阅读
点赞
1.环境说明master 192.168.0.223 mesos-masterslave 192.168.0.225 mesos-salve2.环境准备关闭防火墙关闭selinux两台机器修改主机名master/slave设置hosts，能互相解析3.master和slave配置ssh互信这里配置hadoop用户双机
原创
2015-11-10 16:14:54
1636阅读
一、角色分配及安装环境准备 资料下载地址： 链接: 百度网盘 1.机器及机器角色规划 2.关闭防火墙及SELinux 3.安装依赖(server) yum install -y cyrus-sasl-plain cyrus-sasl-gssapi portmap fuse-libs bind-uti
原创
2024-09-26 12:19:31
39阅读
前置条件ntp服务安装 防火墙关闭执行以下优化代码echo "* soft nofile 128000" >>/
原创
2023-05-06 15:00:48
209阅读
/usr/share/cmf/uninstall-cloudera-manager.sh
原创
2022-09-05 15:06:34
202阅读
安装准备介质准备本文采用parcel包方式安装，需要下载相关的3个文件。parcel包地址：http://archive-primary.cloudera.com/cdh5/parcels/5.3.2/需要下载如下三个文件如果采用rpm方式安装，地址为：http://archive.cloudera.com/cdh5/redhat/6/x86_64/cdh/5.3.2/系统配置a) 用户创建CDH
转载
2024-01-15 15:35:46
86阅读
CDH是Cloudera的开源平台发行版，通过将Hadoop与其他十几个开源项目集成，为企业大数据业务提供服务。在CDH开源大数据方案中，是通过多个互相独立的组件提供相应的能力，每个场景需要一个组件独立交付，为了实现不同业务需求，通常用户需要部署多个不同的产品。比如为了做数仓需要Hive，为了做精确查询需要Hbase，为了做搜索业务需要Elasticsearch等等。那客户为了实现图计算和分析，需
转载
2023-07-07 15:09:47
33阅读
一 docker部署cdh-5.x cloudera/quickstart cloudera/clusterdock 二 docker部署cdh-6.x cdh安装包下载docker拉取centos7镜像 docker pull centos:7.7.1908启动docker container 2.1 设置网桥 docker network create --subnet=172.18.0.0/
转载
2023-10-13 15:36:59
185阅读
MapReduce跑得慢的原因MapReduce程序的效率瓶颈在于两个方面：一、 计算机性能CPU、内存、磁盘健康、网络二、 I/O操作数据倾斜map和reduce数量设置不合理reduce等待时间过久小文件过多大量不可拆分的超大文件spill次数过多merge次数过多我们优化的重点是I/O操作MapReduce优化方法一、数据输入合并小文件：在执行mr任务前将小文件进行合并，因为大量的小文件会产
转载
2024-03-05 14:54:08
44阅读
第一步：下载对应的HBase的安装包 所有关于CDH版本的软件包下载地址如下 http://archive.cloudera.com/cdh5/cdh/5/ HBase对应的版本下载地址如下 http://archive.cloudera.com/cdh5/cdh/5/hbase-1.2.0-cdh5.14.0.tar.gz第二步：压缩包上传并解压 cd /export/softwares rz+
转载
2023-11-27 16:59:04
99阅读
转自：http://blog.51cto.com/teacheryan/1912116 本文介绍如何搭建cloudera manager去接入已有hadoop组件（cdh）。一、下载必备文件：1.cloudera manager：http://archive-primary.cloudera.com/cm5/cm/5/大部分公司内大数据集群环境都无公网访问权限，针对当前集群系统环境和想要
目录一、CDH介绍二、为什么选择CDH？三、CDH的版本选择 四、安装准备1.节点准备2.节点规划3.下载parcels文件4.tarball下载5.准备以下内容：五、系统初始化1.关闭防火墙（3个节点）2.配置主机名（3个节点）3.修改hosts文件（3个节点）4.配置免密登录（3个节点）5.安装JDK（3个节点）6.检查Python版本（3个节点）7.检查服务器之间的时间是否同步（3个节点）
转载
2023-10-18 16:33:08
146阅读
点赞
