目录一 : 什么是CDC ?使用场景是什么?二: 目前有哪些技术基于查询的 CDC:基于日志的 CDC:三- FlinkCDC采集mysqlmysql的demo1- mysql必须开启binlog 2- 创建一个用户,权限 SELECT, RELOAD, SHOW DATABASES, REPLICATION SLAVE, REPLICATION CLIENT 。必须有reload
转载 2023-08-18 13:27:07
120阅读
  1. 业务数据全部存储在datanode上面,所以datanode的存储空间必须足够大,且每个datanode的存储空间尽量保持一致。 2. 管理节点/namenode对存储空间要求不高,主要存储各计算节点datanode的元数据信息,以3个datanode为例,每个datanode存储2T的数据,namenode才耗费80G的空间。 3. 由于Hado
转载 1月前
11阅读
文章目录先准备本地安装包新主机配置集群扩容步骤先准备本地安装包/var/www 目录下 文件列表如下# [cdh01 root 13:28:55] [六 6月 19] /var/www/html/cloudera-repos/cm6.3.1$ ll总用量 32-rw-r--r-- 1 root root 14041 6月 7 11:22 allkeys.ascdrwxrwxr-x 2 2001 2001 4096 9月 25 2019 repodata-rw-rw-r-- 1 200
原创 2022-01-07 15:44:21
1315阅读
文章目录先准备本地安装包新主机配置集群扩容步骤先准备本地安装包/var/www 目录下 文件列表如下# [cdh01 root 13:28:55] [六 6月 19] /var/www/html/cloudera-repos/cm6.3.1$ ll总用量 32-rw-r--r-- 1 root root 14041 6月 7 11:22 allkeys.ascdrwxrwxr-x 2 2001 2001 4096 9月 25 2019 repodata-rw-rw-r-- 1 200
CDH
原创 2021-06-21 16:34:41
1569阅读
CDH5.16.1集群新增节点 下面是集群新增节点步骤:1.已经存在一个集群,有两个节点192.168.100.19 hadoop-master192.168.100.20 hadoop-slave1新增节点ip为192.168.100.21 2.新增节点所有的操作都在root下进行,所以首先需要设置ssh可以使用root登
转载 2023-07-04 14:31:25
180阅读
具体步骤如下:开始下线前的自检# 自检 hdfs 文件是否有损坏 hdfs fsck / -list-corruptfileblocks -openforwrite -files -blocks -locations # 如果文件有损坏,需要进行修复 hdfs fsck file_name -move选择需要下线的主机,开始下线。为了避免下线过程中出现数据丢失的风险,一次下线的主机数量要小于 h
cdh下线节点
原创 2020-06-28 21:38:42
2193阅读
CDH 简介(Cloudera Hadoop) -->仅供学习1. Cloudera Manager安装CDH 即安装 Cloudera Manager,以下简称CM。Cloudera Manager 是一个拥有集群自动化安装、中心化管理、集群监控、报警功能的一个工具(软件)。可以实现对集群的可视化监控和管理。2. CM 的架构Server:负责软件安装、配置,启动和停止服务,管理服务运行的
原来安装都是三个节点,今天要装个单节点的,装完后 MapReduce 总是不能提交到 YARN,折腾了一下午也没搞定MR1  中 Job 提交到 JobTracker,在 YARN 中应该提交到 ResourceManager,但发现起了个 LocalJob,经发现做如下配置并不生效<property> <name>mapreduce.framework.
转载 3月前
23阅读
# 如何实现 MySQL节点 对于一个刚入行的小白来说,搭建 MySQL 主从复制可能是一个比较困难的任务。作为一名经验丰富的开发者,我将会一步步教你如何实现“mysql节点”。 ## 流程 首先,我们需要明确整个搭建 MySQL 主从复制的流程。以下是具体的步骤: | 步骤 | 操作 | | ------ | ------ | | 1 | 备份主服务器数据 | | 2 |
原创 2月前
27阅读
1       情况概述公司的开发集群在周末莫名其妙的主节点Hadoop-1的启动固态盘挂了,由于CM、HDFS的NameNode、HBase的Master都安装在Hadoop-1,导致了整个集群都无法使用,好在数据不在启动盘。Hadoop-1的系统必须重装,但是不能重装集群,因为要将之前的数据全部保留恢复,所以只能通过集群恢复的手段将集
由于意外,集群中的一个节点系统坏了,重装系统后,把该节点添加集群中,恢复hdfs数据。思路:主要问题是把hdfs的数据恢复,由于hdfs的机制very good,只要把节点从集群中删掉,再添加进集群中,配置hdfs对应目录就好。背景:安装的cdh6.2,使用cm界面进行管理流程: 1.从集群中删除节点,删除的时候,勾选解除授权。2.从主机管理中删除节点 3.走集群添加新节点流程节点上的一些对应安装
## CDH Hive用户流程 ### 步骤概览 下面是CDH Hive用户的整体步骤: | 步骤 | 操作 | | ---- | ---- | | 1. 创建用户 | 创建新用户,并分配用户名和密码 | | 2. 创建数据库 | 创建用户所需的数据库 | | 3. 授权用户 | 授权用户对数据库的访问权限 | | 4. 验证用户 | 验证用户是否能够正常登录和使用数据库 | 下面我们
原创 10月前
57阅读
最低要求的角色:超级管理员(所谓超级管理员就是 admin)可以通过两种方式从集群中删除主机:使用 Cloudera Manager 删除; 从集群 A 中删除主机,将其提供给由 Cloudera Manager 管理的其他集群; 两种方法都会涉及退役主机(decommission)、删除角色(role)、删除托管服务软件(service),但最终都会保留数据目录。使用 Cloudera Mana
# 单节点CDH Hive实现步骤 作为一名经验丰富的开发者,我将帮助你了解如何实现单节点CDH Hive。下面是整个过程的步骤列表: | 步骤 | 描述 | | --- | --- | | 1 | 安装CDH | | 2 | 启动CDH服务 | | 3 | 创建Hive元数据库 | | 4 | 启动Hive服务 | | 5 | 使用Hive | 下面是每个步骤具体需要做的事情以及对应的代码
原创 2023-07-23 21:12:06
782阅读
基于CDH版本5.13.3实现Spark集群1.     安装背景由于部门及已上项目使用的是CDH版本大数据平台,为了充分更好使用Spark集群Spark引擎运算,解决基于CDH版本下可支持3种大数据运算分析方式Hive on MR、Hive on Spark和Spark Sql。2.     安装
文章目录一.分布式文件系统HDFS二.HDFS的特点及适用场景2.1 HDFS的高容错性2.2 HDFS的适用场景三.HDFS架构3.1 HDFS集群中的主要角色3.2 NameNode和Secondary Namenode的工作原理FsImage和EditsNameNode和Secondary Namenode的工作流程NameNode和Secondary Namenode功能详解3.3 Da
        上一篇,我们从零开始搭建好了ClouderaManager的安装环境。         接下来,我们开始安装大数据生态组件,并对CDH的一些告警进行调试。创建集群并安装HDFS服务        选择功能授权版本 ->> 创建集群 ->>
实时大数据平台安装文档文档编号版本号V1.0名称实时大数据平台安装文档总页数正文编写日期审批1. 引言1.1 编写目的该手册旨在记录部署大数据CDH集群的流程,为后续作业提供参考,提高利用CM部署集群的效率和减少出现问题的可能性,帮助现场部署人员更好,更快地完成部署任务。1.2 环境及术语该手册要求,现场部署环境已经安装好操作系统,建议centos7.4,且网络已经配置完毕,磁盘空间达到TB级别C
第一篇博文,我们对Zookeeper有了一个简单的认识,而且比较浅显,易懂,这篇博文,我们了解它的基本概念,如下图所示:了解它的基本概念,有助于我们后面的学习,虽然今天的文章都是概念性质的内容,但是意义重大。一、集群角色:Zookeeper集群通常有三种角色:Leader,Follower,Observer。角色描述Leader服务器整个Zookeeper集群工作机制中的核心 ,不接受client
  • 1
  • 2
  • 3
  • 4
  • 5