目录前言mysql主从复制原理1、指定master中的server-id2、开启master中的binlog功能3、 建立一个mysql主从复制专用用户rep并授权4、对主库进行锁表并导出数据（全备）5、scp命令传输全备文件到slave服务器6、设置slave服务器的server-id和关闭binlog参数7、开始还原slave从库8、登录slave从库并配置参数9、启动slave从库开始主从
一、集群搭建：搭建设计
### --- 分配三台Linux，用于安装拥有三个节点的Kafka集群。
Hadoop01 192.168.1.111
Hadoop02 192.168.1.122
Hadoop03 192.168.1.133
一、部署kafka集群：配置hosts文件
### --- 以上三台主机的/etc
官方参考手册：
http://spark.apache.org/docs/1.4.0/spark-standalone.html
1、手动启动可以参考 ：
http://www.th7.cn/Program/java/201309/148408.shtml
2、启动脚本方式：
SPARK_HOME目录下命令来启动：
转载
2024-07-17 18:00:54
73阅读
# Hadoop 配置 Slaves
Hadoop 是一个开源的分布式计算框架，主要用于大数据存储和处理。Hadoop 的基本架构由多个组件组成，其中 NameNode 和 DataNode 是两个非常重要的部分。在 Hadoop 集群中，除了单一的 NameNode 之外，DataNode 通常会有多个实例，构成了我们的 "slaves" (从节点) 集群。本文将介绍如何配置 Hadoop 的
配置集群/分布式环境集群/分布式模式需要修改 /usr/local/hadoop/etc/hadoop 中的5个配置文件，更多设置项可点击查看官方说明，这里仅设置了正常启动所必须的设置项： slaves、core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml 。1, 文件 slaves，将作为 DataNode 的主机
转载
2023-10-26 11:31:15
336阅读
1、前言由前面的文章Spark基础06-Spark client和cluster提交流程我们已经知道了Spark client和cluster提交模式流程启动Driver进程，并向集群管理器注册应用程序集群资源管理器根据任务配置文件分配并启动ExecutorExecutor启动之后反向到Driver注册，Driver已经获取足够资源可以运行Driver开始执行main函数，Spark查询为懒执行，
配置Hadoop集群在master虚拟机上配置hadoop 编辑Hadoop环境配置文件 - hadoop-env.sh 命令：cd $HADOOP_HOME/etc/hadoop，进入hadoop配置目录 命令：vim hadoop-env.sh 命令source hadoop-env.sh，让配置生效 编辑Hadoop核心配置文件 - core-site.xml 命令：vim core-sit
转载
2023-07-20 17:16:11
411阅读
题前语：为什么要安装这个东西呢？是因为我们要在多台机器之间通信，这个服务就相当于支持这种通信的一个桥梁，打个比喻，相当于windows里，通过远程桌面连接到其他机器。所以，安装这个服务，的目的是：1、为了连接其他的机器2、更进一步，为了在连接其他机器时，免密码登陆以下是具体步骤：1、联网情况下，执行命令：apt-get install ssh （注意，-get前没有空格）2、创建免密码登陆首先检查
转载
2023-10-16 13:04:31
91阅读
1 Hadoop HA架构详解1.1 HDFS HA背景HDFS集群中NameNode 存在单点故障（SPOF）。对于只有一个NameNode的集群，如果NameNode机器出现意外情况，将导致整个集群无法使用，直到NameNode 重新启动。影响HDFS集群不可用主要包括以下两种情况：一是NameNode机器宕机，将导致集群不可用，重启NameNode之后才可使用；二是计划内
转载
2023-12-29 23:42:17
51阅读
前面已完成VMware虚拟机安装与配置，下面将进行Hadoop 配置。一、slave1、slave2节点配置修改slave1、slave2节点都需要进行以下操作：1.开启虚拟机，输入命令：[root@slave1 ~]#ip addr
[root@slave2 ~]#ip addr2.修改slave1、slave2虚拟机的IP[root@slave1 ~]#vi /etc/sysconfig/ne
转载
2024-01-09 22:16:42
333阅读
1.1 安装环境操作系统deepin 15.11, VMware Workstation，hadoop 3.1.3 版本。在deepin 操作系统中安装 VMware Workstation，在 VMware Workstation中安装两个deepin系统，采用两个节点作为集群环境，一个作为Master节点，一个作为Slave 节点。1.2 hadoop的安装准备在Master节点和Slave节
转载
2023-10-14 09:41:11
94阅读
我们生产环境中会碰到这种情况：备份主机数据，或者添加一台主机。进行双主机的结构。另外就是在线上中途添加更多的从机。而我们知道，从机上设置 slave 时要指定 master_log_file 和 master_log_pos, 即指定binlog文件和偏移值。这也就是说，从机是可以从任意位置的 binlog 文件中进行数据的同步。比如：我们将 binlog 文件备份到其它某处放置，某天，数据库出
转载
2024-04-26 11:03:49
32阅读
6、Linux节点配置设置主机名：根据规划修改主机名，执行hostnamectl set-hostname hdoop1，修改主机名并写入配置文件，使用hostname查看当前生效的主机名。 关闭防火墙：使用systemctl命令关闭防火墙，stop是本次关闭，disable是下次开机也不会启动（永久关闭）。这里我们需要使用disable彻底关闭。 停止sel
转载
2024-08-14 07:46:54
78阅读
目录（一）配置Hadoop集群1、在master虚拟机上配置hadoop（1）编辑Hadoop环境配置文件 - hadoop-env.sh （2）编辑Hadoop核心配置文件 - core-site.xml（3）编辑HDFS配置文件 - hdfs-site.xml（4）编辑MapReduce配置文件 - mapred-site.xml（5）编辑yarn配置文件 - yarn-site.x
转载
2023-07-24 13:11:52
1412阅读
遇到的问题如下：
网上的帖子一般比较重步骤，每一步都很详细，但没有说明为什么，读者容易因为不知道为什么，而忽视一些问题，安装出错也不知道如何解决。所以写上一些为什么还是必要的。
1.SSH问题
1）集群配置中需要配置Master和Slave间的ssh无密码访问。需要的是master能够无密码访问slave中的每台机器，slave也能无密码访问mast
转载
2023-12-17 14:32:21
38阅读
Hadoop配置文件详解概述Hadoop默认配置文件配置文件描述位置core-default.xml默认的核心hadoop属性文件位于：Hadoop-common-2.10.1.jarhdfs-default.xml默认的HDFS属性配置文件位于：hadoop-hdfs-2.10.1.jarmapred-default.xml默认mapreduce属性配置文件位于：mapreduce-client
转载
2023-07-10 13:37:06
135阅读
HDFS-HA集群配置1 环境准备1. 修改IP2. 修改主机名及主机名和IP地址的映射3. 关闭防火墙4. ssh免密登录5. 安装JDK，配置环境变量等2 规划集群表1hadoop102 hadoop103
转载
2023-07-20 16:10:22
107阅读
SLS编写规范规范要点说明首先，状态的执行不可回滚，执行完了就是执行完了，并不会中断回滚，其次，状态的执行，可以反复执行，也就是说一个状态文件，可以多次来进行调用。在编写状态文件过程中，有以下几点需要注意的:在一个sls状态文件中，任务ID必须要唯一，也许在一个sls状态文件中，有多个任务，但是要保证每个任务的ID必须是唯一的，最好的是能做到整个状态文件执行的时候，是唯一的；因为在进行状态间关系判
1.配置hadoop的datanode主机名,可以是ip地址,配置内容如下
原创
2017-08-25 10:24:23
2326阅读
linux配置hadoop分布式集群一、前期准备二、Jdk的安装三、配置hadoop集群 安装hadoop分布式集群hadoop-3.3.0及jdk1.8下载链接一、前期准备1.安装hadoop分布式之前先准备好3台虚拟机 2.分别在每一台虚拟机下创建hadoop用户，并为其设置密码 3.将第一台主机名设置为HadoopMaster；第二台设置为HadoopSlave01;第三台设置为Hadoo
