MRAppMaster中如果ResourceManager 宕机了怎么办，与hadoop中的namenode问题一样，同样
原创
2023-05-24 10:08:45
65阅读
四台机器 bei1 bei2 bei3 bei4NNDNZKZKFCJNRMNM（任务管理）bei1 YYYbei2 YYYYYYYbei3 YYYYbei4YYY1、升级组件以及关闭防火墙 yum -y update PS: 如果使用本地yum源可省略该项 新开
原创
2016-03-08 23:40:30
598阅读
正文 下载Spark版本，这版本又要求必须和jdk与hadoop版本对应。 tar -zxvf 解压到指定目录，进入conf进行培训。spark-env.sh.template 改为 spark-env.sh，注册 export SPARK_DAEMON_JAVA_OPTS="-Dspark.dep
原创
2021-05-30 23:40:43
824阅读
将NN分别部署在hadoop203和hadoop204两台主机上,且保证两台主机配置完全一致包括ssh
原创
2023-06-15 14:10:33
54阅读
01PART前言Canal是用java开发的基于数据库增量日志解析，提供增量数据订阅&消费的中间件。目前，Canal主要支持了MySQL的Binlog解析，解析完成后才利用Canal Client 用来处理获得的相关数据。02PART工作原理复制过程分成三步：1）Master主库将改变记录写到二进制日志(binary log)中；2）Slave从库向Mysql Master发送dump协议
原创
2021-03-14 10:33:26
415阅读
# 新建的虚拟机，可以更改为与文档中相同的主机名 hostnamectl set-hostname master hostnamectl set-hostname slave1 hostnamectl set-hostname slave2 .ssh免密登录 1),生成秘钥(群发) ssh-keyg ...
转载
2021-10-21 18:43:00
156阅读
2评论
好了，废话就到此吧。一、平台环境和需要安装的软件我安装的CentOS是完全安装的,安装过程需要下载一些软件，所以确保网络的联通性。如果已经下载好了安装包，网络就不是必须的了我用到的所有软件包我也已经分享了，详见第三部分 *<^_^>*1. 平台：CentOS Linux release 7.0.1406 X86_64
2. 所需软件：jdk
3. protocbuf
4. cma
转载
2023-09-14 08:27:19
76阅读
1.配置资源前准备：安装好数据库并保持两台机器用户ID及组ID一致，组ID和用户ID在/etc/passwd查看，如不保持一致，可能导致切机时阵列的属主改变，导致数据库无法启动。建议用法，现在两台机器上建好kingbase组，然后通过 groupmod kingbase –g xxx(ID值)然后建立用户是将kingbase用户直接绑定到kingbase组上 useradd –m –d
原创
2015-09-07 14:17:42
2881阅读
点赞
一 、 Hadoop 集群架构设计 二 、 搭建集群 修改IP地址与hostname以及部署zookeeper、hadoop见上一篇博文《Hadoop 完全分布式搭建》。 三 、修改配置文件 修改nna上的core-site.xml <configuration> <!-- 指定hdfs的names
转载
2021-01-18 21:01:00
128阅读
2评论
MapReduceHadoop核心组件MR-MapReduce企业80以上使用MapReduce，未来可能替代Mapreduce的是spark，spark是2013年出现，时间短，技术储备不够是最大的原因。 MapReduce设计理念移动计算，而不是移动数据何为分布式计算Hdfs的数据全部是分布式存放，而MapReduce使用的就是Hdfs上存放的数据。 计算框架MR步骤1：s
实验步骤1.切换目录到/apps/hadoop/sbin下，启动hadoop。2.在linux上，创建一个目录/data/mapreduce1。mkdir -p /data/mapreduce1 3.切换到/data/mapreduce1目录下，自行建立文本文件buyer_favorite1。依然在/data/mapreduce1目录下，使用wget命令，
转载
2023-10-24 00:27:30
123阅读
文章目录集群规划zookeeperhdfs启动HDFS-HA集群集群规划note01note02note03NameNodeNameNodeJournalNodeJournalNodeJournal
原创
2022-02-16 09:56:25
242阅读
HA高可用搭建系统环境：[root@ha1 ha.d]# uname -aLinux ha1 2.6.18-238.el5 #1 SMP Thu Jan 1315:51:15 EST 2011 x86_64 x86_64 x86_64 GNU/Linuxha1:192.168.0.2ha2:192.168.0.3heartbeat 虚ip：192.168.0.4所用到的安装包：wgetftp://
原创
2013-06-08 17:30:03
672阅读
进入到执行：/soft/hadoop-2.7.1/etc/hadoop_cluster$ gedit hdfs-site.xml[配置部分][hdfs-site.xml]1.配置名称服务:dfs.nameservices名称服务的逻辑名。<property> <name>dfs.nameservices</name>
原创
2016-07-09 08:09:22
814阅读
MySQL（11）---约束
含义: 一种限制，用于限制表中的数据，为了保证表中的数据的准确和可靠性。先把Mysql几种约束列出来：主键约束 外键约束 唯一性约束 非空约束 默认值约束 自增约束MySQL不支持check约束，但可以使用check约束，而没有任何效果。一、语法不多说理论，说下语法和示例就好。1、建表时直接建约束drop table
一 应用场景描述二 搭建步骤三 故障测试
原创
2017-05-23 13:43:35
1879阅读
文章目录集群规划zookeeperhdfs启动HDFS-HA集群集群规划note01note02note03NameNodeNameNodeJournalNodeJournalNodeJournalNodeDataNodeDataNodeDataNodeZKZKZKResourceManagerResourceManager...
原创
2021-05-31 18:53:16
260阅读
说到对Hadoop和HBase的集群监控，大家知道的和用的最多的可能还是第三方的监控工具，cacti，ganglia，zabbix之类的。玩的深一些的，会用zenoss之类的。这些工具确实不错，也能发挥很大的作用，但时间长了总感觉监控粒度还是比较粗，不够详细。毕竟是第三方的监控，即便Hadoop自带了ganglia的接口，也还是觉得不够。 其实Hadoop本身是带有监控接口的，各公司的发行版还有
转载
2024-10-12 11:29:13
28阅读
虚拟机安装本次安装了四台虚拟机：hadoop001、hadoop002、hadoop003、hadoop004，安装过程略过移除虚拟机自带jdkrpm -qa | grep -i java | xargs -n1 rpm -e --nodeps关闭防火墙systemctl stop firewalld
systemctl disable firewalld.service给普通用户添加root权限
搭建Hadoop HA的详细教程前置工作配置host文件ssh免密登录JDK的配置ZooKeeper配置Hadoop HA配置文件core-site.xmlhdfs-site.xmlmapred-site.xmlyarn-site.xml启动与测试前置工作配置host文件在每个节点的/etc/hosts
原创
2022-04-20 16:21:35
1545阅读
点赞
