原有服务器集群因计算力不够、磁盘空间不足等原因需要在原有cdh集群上添加新的计算节点（datanode），ClouderaManager提供了一种可视化的添加方式。一、节点规划NOIPHOSTNAMEROLE111.11.11.11server11-11dn211.11.11.12server11-12dn二、安装前准备2.1 配置yum仓库Yum资源库配置目录位于/etc/yum.repos.d
一、Docker Compose容器编排 1、Docker Compose概念及作用 Docker Compose 的前身是Fig，它是一个定义及运行多个容器的工具 使用Docker Compose不再需要使用shell脚本来启动容器 通过Docker Compose可以使用YML文件来配置应用程序所需要的的所有服务 Docker Compose非常适合组合使用多个容器进行开发的场景2、YML文件
前言：两个月前的16年11月份完成的配置，使用的solr6.1和zookeeper3.4，刚刚写成blog，目前版本可能有小版本的变化。 本例完成结果为：在docker环境下部署solrcloud集群，同时使用zookeeper集群做配置管理。 一、部署zookeeper集群1、加载images，（两种方式：A下载offical版本zookeeper，B加载导出的t
转载
2023-08-05 21:05:12
227阅读
Docker安装hadoop-cdh第1章 环境1.1 操作系统及docker版本Centos7 Docker服务器两台，overlay网络。私有docker registry1.2 安装前准备关掉防火墙和selinux1.3 需要的安装包jdk-8u181-linux-x64.tar.gz mysql-connector-java-5.1.47.tar.gz（去mysql官网下载，不一定非得是这
一、集群规划如果你正准备从0开始搭建一套CDH集群应用于生产环境，那么此时需要做的事情应该是 结合当前的数据、业务、硬件、节点、服务等对集群做合理的规划，而不是马上动手去安装软件。合理的集群规划应该做到以下几点：充分了解当前的数据现状与业务方深入沟通，了解将会在集群上运行的业务，集群将会为业务提供什么服务结合数据现状与业务，合理预估未来的数据量增长盘点当前可用的硬件资源，包括机柜机架、服
转载
2023-08-03 15:49:30
136阅读
文章目录1.文档编写的目的2.集群配置服务器说明3.前置准备4.Cloudera Manager安装4.1 配置本地repo源4.2 制作Cloudera Manager的repo源4.3 验证安装JDK4.4 安装Cloudera Manager Server5 CDH安装6 安装Ranger服务7 FLink部署7.1 配置Flink Parcel包7.2 添加Flink服务8 集群功能验证
上一篇文章介绍的是搭建CDH5.3.6版本的集群，搭建方式可以参考这里~此次重新部署，打算采用6.3.1的版本，之前的部署方式已然不适用，故重新整理，遂成此文。关注专栏《破茧成蝶——大数据篇》，查看更多相关的内容~目录一、准备工作二、环境搭建1、设置主机名2、配置主机映射3、关闭集群防火墙4、关闭selinux5、配置免秘钥登录6、设置集群时间同步三、所有节点安装jdk四、主节点部署jdbc驱动五
说明：【一、CDH5.16.2集群之VMware-workstation-14安装】【二、CDH5.16.2集群之三台虚拟机安装】【三、CDH5.16.2集群之三台虚拟机配置网络配置】【四、CDH5.16.2集群之XShell连接虚拟机】一、集群前期配置1、安装JAVA（三台虚拟机都执行） 卸载自带的Java 执行：rpm -qa | grep -i java 执行如下命令卸载上图中箭头所指的四个
从零搭建生产Hadoop集群（三）——CDH集群搭建一、概述二、硬件检查与系统配置1.硬件检查1）检查内存2）检查所有磁盘挂载。将noatime参数写入/etc/fstab，并remount所有数据盘。3）检查磁盘读写4）检测网卡设置5）检测路由6）检查系统版本2.系统配置1）配置hostname与/etc/hosts（所有节点）设置hostname设置/etc/hosts2）所有节点安装SSH
转载
2023-07-04 14:54:50
0阅读
一 docker部署cdh-5.x cloudera/quickstart cloudera/clusterdock 二 docker部署cdh-6.x cdh安装包下载docker拉取centos7镜像 docker pull centos:7.7.1908启动docker container 2.1 设置网桥 docker network create --subnet=172.18.0.0/
转载
2023-10-13 15:36:59
140阅读
1、拉取centos8的镜像在用户目录下： 2、构建集群子网按照集群的架构，创建容器时需要设置固定IP，所以先要在docker使用如下命令创建固定IP的子网docker network create --subnet=172.18.0.0/16 netgroup对各个节点指定好功能 maseter为主节点，hadoop01 为从节点和datanode hadoop02 为yarn主节点负
前言 折腾了一段时间hadoop的部署管理，写下此系列博客记录一下。 为了避免各位做部署这种重复性的劳动，我已经把部署的步骤写成脚本，各位只需要按着本文把脚本执行完，整个环境基本就部署完了。部署的脚本我放在了开源中国的git仓库里()。 本文的所有部署都基于cloudera公司的CDH4,CDH4是cloudera公司包装好的hadoop生态圈一系列yum包，把
环境说明配置环境准备3台机器，四台机器环境是 CentOS 6.9，IP和主机名配置如下：192.168.100.101 node01
192.168.100.102 node02
192.168.100.103 node03前置配置ssh免密登录,JDK环境,防火墙配置,SELINUX关闭Hadoop配置及安装①文件下载&&解压下载:http://archive.cloudera
写在前面上一篇，我们从零开始搭建好了ClouderaManager的安装环境。 接下来，我们开始安装大数据生态组件，并对CDH的一些告警进行调试。一、创建集群并安装HDFS服务安装步骤： 选择功能授权版本 ->> 创建集群 ->> 为集群添加服务1. 版本选择1.1 使用默认用户名密码登录CM用户名：admin
密码：admin1.2 登录成功来到环境界面-继续1.3 接受
转载
2023-10-10 15:16:14
170阅读
一、说明 节点(CentOS7.5)Server || AgentCPUnode11Server || Agent4Gnode12Agent2Gnode13Agent2G二、系统环境搭建1、网络配置(所有节点)1．设置主机名和IP2．配置/etc/hosts IP和主机名的映射 2、SSH免密码登录1．产生公钥和私钥：ssh-ke
转载
2023-07-04 14:12:14
133阅读
上一篇，我们从零开始搭建好了ClouderaManager的安装环境。 接下来，我们开始安装大数据生态组件，并对CDH的一些告警进行调试。创建集群并安装HDFS服务 选择功能授权版本 ->> 创建集群 ->>
文章目录1 文档编写的目的2 集群配置服务器说明3 前置条件准备3.1 配置/etc/host3.2 设置远程免密登录3.3 禁止Selinux3.4 关闭防火墙3.5 关闭透明大页面3.6 设置swappiness3.7 安装ntp时间3.8 安装httpd3.9 配置Cloudera Manager的repo源3.10 安装数据库3.11 安装JDBC驱动4 Cloudera Manager
- 概述 - 文件下载 - 系统环境搭建 -
Cloudera Manager安装与集群配置 - 日志查看 - Q&A - 参考
概述
CDH (Cloudera's Distribution, including Apache
Hadoop)，是Hadoop众多分支中的一种，由Cloudera维护，基于稳定版本的Ap
CDH部署Hadoop集群是一项非常重要的任务，涉及到大数据的存储和计算，对于数据处理非常有用。在本文中，我将告诉你如何在K8S中部署Hadoop集群。
首先，让我们了解整个流程。在CDH中部署Hadoop集群一般需要以下步骤：
| 步骤 | 操作 |
| ---- | ---- |
| 1. | 准备K8S集群 |
| 2. | 创建Hadoop的ConfigMap和Service |
|
修改Cloudera Agent配置文件/etc/cloudera-scm-agent/config.ini，配置server_host为主节点cdh-1。CDH的安装包都是r
原创
2022-11-14 15:28:50
421阅读
