前言很久之前、部署方案选择了基于 Docker 的容器化落地方案，极简描述与总结于 gogs_drone_docker。但是随着微服务抽象定义的服务越来越多、团队规模越来越壮大时，单机部署的自动化持续部署平台在并行处理任务可能会出现大量排队、扩容机制不灵活，同时为了统一、对齐部署姿势，因此将 Docker 转 Kubernetes 。github/alicfeng/kubernetes_cicd目
转载
2024-09-23 08:46:19
91阅读
文章目录前言说明具体操作1. 搭建方式2. 搭建完成结构图3. 推荐最低配置运行环境4. 搭建步骤搭建步骤5. 启动顺序6. 工作节点添加7. 持久化存储8. 集群创建完成后执行以下命令9. 端口1、访问页面的UI2、其他端口10. docker镜像下载地址11. 后续补充学习教程。。。待续 前言说明最近部署cdh大数据平台，搜索相关资料发现基于docker部署的文章都相对复杂或存在缺失或不可行
转载
2024-04-15 12:24:23
105阅读
1.环境准备1.1 安装vagrant虚拟机node01Vagrant.configure("2") do |config|
config.vm.box = "centos/7"
config.vm.hostname = "node01"
config.vm.network "private_network", ip: "10.1.100.11"
# 虚拟机配置
config
转载
2024-06-13 20:43:25
77阅读
第一章 数仓之Cloudera Manager 1.1 CM简介1.1.1 CM简介Cloudera Manager是一个拥有集群自动化安装、中心化管理、集群监控、报警功能的一个工具，使得安装集群从几天的时间缩短在几个小时内，运维人员从数十人降低到几人以内，极大的提高集群管理的效率。1.1.2 CM架构 Cloudera Manager 架构
Cloudera Repo
转载
2024-04-25 17:06:25
73阅读
1.准备环境Linux环境准备三台linux环境，内存4G或以上，硬盘40G或以上，我们这里使用的是 Centos6.9 64位的操作系统，三台虚拟机一个作为主节点，其他两台作为副节点虚拟机联网，关闭防火墙，关闭selinux 关闭防火墙命令：service iptables stop
chkconfig iptables off关闭selinuxvim /etc/selinux/con
转载
2024-10-30 10:15:51
37阅读
前言：CM全称Cloudera Manager，Cloudera开发公司的产品。其主要功能是对CDH集群进行监控，大大改善原生ApacheHadoop的安装、配置复杂和需要使用第三方开源的监控工具所带来的诸多问题。其中，CDH是Cloudera公司的开源产品，可以不依靠CM独立安装。CM有free版本，提供60天在收费版中才能使用的高级功能的免费使用期限。本文CM安装基于CentOS 6.5，各个
转载
2024-01-15 21:57:22
32阅读
目录1 Hadoop1.1 介绍Hadoop1.2 Hadoop特性优点1.3 hadoop集群中hadoop都需要启动哪些进程，他们的作用分别是什么？1.4 Hadoop主要的配置文件1.5 Hadoop集群重要命令1.6 HDFS的垃圾桶机制1.7 HDFS写数据流程1.8 Hadoop读数据流程1.9 SecondaryNameNode的作用1.10 HDFS的扩容 缩容（面试）1．动态扩容
转载
2024-04-15 21:34:13
45阅读
supermicro安装环境 本次安装基于无因特网的环境，共安装2个节点（一个master节点，一个data及节点），所用系统为centos7.x,所有安装过程均使用root用户。具体的节点信息如下: 节点名称 节点id mgmt 192.168.111.134 data1 192.168.111.
转载
2018-08-22 01:31:00
184阅读
2评论
一 docker部署cdh-5.x cloudera/quickstart cloudera/clusterdock 二 docker部署cdh-6.x cdh安装包下载docker拉取centos7镜像 docker pull centos:7.7.1908启动docker container 2.1 设置网桥 docker network create --subnet=172.18.0.0/
转载
2023-10-13 15:36:59
185阅读
目录0. 相关文章链接1. CDH的下载1.1. cm的tar包下载1.2. parcels包下载2. 安装CDH的准备工作（所有节点都要执行）2.1. 安装好JDK2.2. 更改主机名和hosts2.3. 关闭防火墙，并重启服务器使hostname和selinux的配置生效2.4. 安装NTP服务2.5. 配置SSH
转载
2024-08-30 16:02:34
468阅读
- 概述 - 文件下载 - 系统环境搭建 -
Cloudera Manager安装与集群配置 - 日志查看 - Q&A - 参考
概述
CDH (Cloudera's Distribution, including Apache
Hadoop)，是Hadoop众多分支中的一种，由Cloudera维护，基于稳定版本的Ap
转载
2024-03-04 11:29:16
45阅读
写在前面上一篇，我们从零开始搭建好了ClouderaManager的安装环境。 接下来，我们开始安装大数据生态组件，并对CDH的一些告警进行调试。一、创建集群并安装HDFS服务安装步骤： 选择功能授权版本 ->> 创建集群 ->> 为集群添加服务1. 版本选择1.1 使用默认用户名密码登录CM用户名：admin
密码：admin1.2 登录成功来到环境界面-继续1.3 接受
转载
2023-10-10 15:16:14
235阅读
环境说明配置环境准备3台机器，四台机器环境是 CentOS 6.9，IP和主机名配置如下：192.168.100.101 node01
192.168.100.102 node02
192.168.100.103 node03前置配置ssh免密登录,JDK环境,防火墙配置,SELINUX关闭Hadoop配置及安装①文件下载&&解压下载:http://archive.cloudera
转载
2024-02-25 10:34:43
79阅读
一、集群规划如果你正准备从0开始搭建一套CDH集群应用于生产环境，那么此时需要做的事情应该是 结合当前的数据、业务、硬件、节点、服务等对集群做合理的规划，而不是马上动手去安装软件。合理的集群规划应该做到以下几点：充分了解当前的数据现状与业务方深入沟通，了解将会在集群上运行的业务，集群将会为业务提供什么服务结合数据现状与业务，合理预估未来的数据量增长盘点当前可用的硬件资源，包括机柜机架、服
转载
2023-08-03 15:49:30
159阅读
目录组件版本0.CDH介绍1.Linux 虚拟机基础环境1.1 虚拟机环境设置（不改变已生的MAC地址）1.2 虚拟机修改Mac和IP1.3 虚拟机修改对应主机名与域名映射1.4 虚拟机关闭防火墙1.5 SELinux 关闭1.6 虚拟机免密码登录1.7 三台机器时钟同步 & 安装一些依赖包1.8 修改系统参数2. 安装 java3. 安装 mysql4. CM服务安装5. CDH等相关安
转载
2023-07-14 18:30:23
240阅读
文章目录1.文档编写的目的2.集群配置服务器说明3.前置准备4.Cloudera Manager安装4.1 配置本地repo源4.2 制作Cloudera Manager的repo源4.3 验证安装JDK4.4 安装Cloudera Manager Server5 CDH安装6 安装Ranger服务7 FLink部署7.1 配置Flink Parcel包7.2 添加Flink服务8 集群功能验证
转载
2023-11-28 10:19:50
103阅读
上一篇文章介绍的是搭建CDH5.3.6版本的集群，搭建方式可以参考这里~此次重新部署，打算采用6.3.1的版本，之前的部署方式已然不适用，故重新整理，遂成此文。关注专栏《破茧成蝶——大数据篇》，查看更多相关的内容~目录一、准备工作二、环境搭建1、设置主机名2、配置主机映射3、关闭集群防火墙4、关闭selinux5、配置免秘钥登录6、设置集群时间同步三、所有节点安装jdk四、主节点部署jdbc驱动五
转载
2024-04-16 22:27:07
187阅读
# CDH部署Hadoop：一步步让大数据触手可及
在大数据时代，Hadoop作为一个开源的分布式存储和处理框架，广泛应用于数据处理和分析。Cloudera的CDH（Cloudera Distribution Including Apache Hadoop）是一个企业级的Hadoop发行版，它为用户提供了更稳定和便捷的Hadoop环境。本文将介绍如何在CDH中部署Hadoop，并提供相关代码示例
# 如何进行Hadoop CDH部署
Hadoop CDH（Cloudera Distribution including Apache Hadoop）的部署过程涉及多个步骤，以下将通过一个简单的流程图和每个步骤的详细阐述来帮助你完成这个任务。
## 部署流程
我们可以将部署流程分为以下几个步骤：
```markdown
| 步骤 | 描述
# 在CDH上部署Python：从入门到实践
随着大数据的迅猛发展，数据分析和数据处理愈发重要。在大数据框架中，CDH（Cloudera Distribution Including Apache Hadoop）作为一种流行的解决方案，支持多种编程语言的应用，其中Python因其简洁和强大的库而受到广泛欢迎。本文将介绍如何在CDH环境中部署Python程序，包括代码示例。
## 一、CDH简介
