广彐水厂的博客_大数据

Hadoop集群环境搭建

微信公众号：小康新鲜事儿文章目录一、集群规划二、前置条件三、集群配置 3.1 主节点基础网络配置 3.2 配置映射 3.3 根据主节点hadoop01克隆两份系统 3.4 修改各个从节点网络配置 3.5 配置主从节点免密登录 3.5.1 生成密匙 3.5.2 复制公钥 3.5.3 验证免密登录 3.5.4 Gif动图演示 3.

hadoop

大数据

hdfs

mapreduce

centos

原创 2021-12-08 10:55:38 423 阅读

Linux下Hive的安装

Hive版本 apache-hive-1.2.2，Hive是单机形式存在的一、前置准备Hadoop集群、MySQL（5.x或8.x）Hadoop单机伪分布式-视频教程Hadoop完全分布式集群环境搭建-视频教程HA(高可用)-Hadoop集群环境搭建视频+图文教程CentOS7.x安装mysql8.0.19 二、安装Hive 1.1 下载并解压下载所需版本

大数据

hadoop

数据库

hive

mysql

原创 2021-12-08 10:55:13 514 阅读

基于Zookeeper搭建Hadoop高可用集群

微信公众号：小康新鲜事儿文章目录一、前置准备二、集群规划三、集群配置1. hadoop-env.sh2. core-site.xml3. hdfs-site.xml4. mapred-site.xml5. yarn-site.xml6. slaves四、启动集群（初始化工作）1. 启动3个Zookeeper

大数据

hadoop

分布式

hdfs

zookeeper

原创 2021-12-08 10:54:51 742 阅读

HDFS常用Shell命令

微信公众号：小康新鲜事儿基本语法:hdfs dfs 具体命令、hadoop fs 具体命令(过时)1. 查看目录# 显示目录结构hdfs dfs -ls <path># 以人性化的方式递归显示目录结构hdfs dfs -ls -R -h <path># 显示根目录下内容hdfs dfs -ls /2. 创建目录# 创建目录hdfs dfs -mk...

linux

hadoop

大数据

hdfs

安全模式

原创 2021-12-08 10:53:49 478 阅读

Azkaban-two-server环境搭建

two server mode（双进程服务模式）：存放元数据的数据库为 MySQL，MySQL 应采用主从模式进行备份和容错。这种模式下 webServer 和 executorServer 在不同进程中运行（同一服务器）。该模式适合生产环境，更新和升级时对用户的影响较小。一、前置准备需要用到 Azkaban 编译后的 gz包（ azkaban-web-serve

大数据

mysql

hadoop

服务器

web服务器

原创 2021-12-08 10:52:43 212 阅读

Zookeeper单机环境和集群环境搭建

前置准备Zookeeper的运行依赖JDK，需要预先安装，安装步骤见：Linux下jdk的安装Hadoop前置准备：Hadoop前置准备一、单机环境搭建1.1 下载下载对应版本 Zookeeper，这里我下载的版本 3.5.7。官方下载地址：https://archive.apache.org/dist/zookeeper/1.2 解压[xiaokang@hadoop01 ~]$ t...

hadoop

大数据

分布式

zookeeper

apache

原创 2021-12-08 10:52:01 254 阅读

HBase单机伪分布式集群环境搭建

一、前置准备JDK版本说明HBase 需要依赖 JDK 环境，这里搭建的HBase版本是1.4.13，JDK 的最低版本要求是1.7， HBase 2.0+ 以上版本不再支持 JDK 1.7 ，需要安装 JDK 1.8+ 。JDK 安装教程如下：Linux 环境下 JDK 安装Hadoop单机伪分布式集群安装这里我们采用 HDFS 作为 HBase 的存储方案，需要预先安装 Hado...

大数据

分布式

hadoop

hbase

zookeeper

原创 2021-12-08 10:51:32 341 阅读

HA-HBase集群环境搭建

一、集群规划这里搭建一个 3 节点的 HBase 集群，其中三台主机上均为 RegionServer。同时为了保证高可用，除了在 hadoop01 上部署主 Master 服务外，还在 hadoop02 上部署备用的 Master 服务。Master 服务由 Zookeeper 集群进行协调管理，如果主 Master 不可用，则备用 Master

分布式

大数据

hadoop

hbase

zookeeper

原创 2021-12-08 10:51:12 480 阅读

Kylin(麒麟)安装及简单使用

前置准备一、概述Apache Kylin™是一个开源的、分布式的分析引擎，提供 Hadoop/Spark 之上的 SQL 查询接口及多维分析（OLAP）能力以支持超大规模数据，最初由 eBay 开发并贡献至开源社区。它能在亚秒内查询巨大的表。（Online Analytical Process），联机分析处理, 或者在线分析Apache Kylin也是中国人主导的、唯一的Apache顶级开源

大数据

hadoop

kylin

hbase

hive

原创 2021-12-08 10:50:33 2265 阅读 1点赞 1收藏

Hive更换Spark引擎

一、前置准备CentOS7、jdk1.8、hive-2.3.6、hadoop-2.7.7、spark-2.0.0-bin-hadoop2-without-hive 二、简单了解Hive版本及其对应的兼容Spark版本的列表 2.1 手动编译SparkSpark下载地址：https://archive.apache.org/dist/spark/spark-2.0.0/源码包只有12M，

hadoop

大数据

spark

hive

jar

原创 2021-12-08 10:49:42 1357 阅读

Linux下Python的安装

系统环境：centos 7.xPython 版本：Python-3.8.01. 环境依赖Python3.x 的安装需要依赖这四个组件：gcc， zlib，zlib-devel，openssl-devel，需要大家预先安装，一次性安装四个组件命令如下：[xiaokang@hadoop ~]$ sudo yum -y install gcc zlib zlib-devel openssl-...

python

linux

大数据

hadoop

下载地址

原创 2021-12-08 10:48:47 75 阅读

Linux下JDK的安装

系统环境：centos 7.6JDK 版本：jdk 1.8.0_1911.以root用户身份先创建组和用户[root@xk1181259634]# groupadd [-g 1124] hadoopenvcat /etc/group[root@xk1181259634]# useradd -m [-u 1124] -g hadoopenv xiaokangcat /etc/p...

linux

java

jdk

大数据

文件权限

原创 2021-12-08 10:43:44 146 阅读

Hadoop单机伪分布式环境搭建

微信公众号：小康新鲜事儿文章目录一、前提条件二、Hadoop(HDFS和YARN)环境搭建2.1 下载并解压2.2 配置环境变量2.3 修改Hadoop配置1. hadoop-env.sh2. core-site.xml3. hdfs-site.xml4. mapred-site.xml5. yarn-site.xml6. slaves2.4 关闭防火墙2.5 初始化2.6 启动HDFS和Y...

大数据

hadoop

分布式

hdfs

xml

原创 2021-12-08 10:43:07 257 阅读

Sqoop安装及基本使用

前置准备这里我们演示 MySQL 和 HDFS 之间的数据导入导出，需要预先安装 Hadoop集群。一、Sqoop 简介Apache Sqoop 是一个常用的数据迁移工具，主要用于在不同存储系统之间实现数据的导入与导出：导入数据：从 MySQL、Oracle 等关系型数据库中导入数据到 HDFS、Hive、HBase 等分布式文件存储系统中；导出数据：从分布式文件系统中导出数据到关系数据库中。

hadoop

mysql

大数据

sqoop

hdfs

原创 2021-12-08 10:15:44 281 阅读

Hive与HBase交互

前置准备这里需要大家预先安装 Hadoop（2.7.7）集群、Hive（2.3.6）、HBase（1.4.13）。一、Hive读取HBase中的数据1.1 先在HBase上创建一张表hbase_hive（方便测试使用默认命名空间default）hbase(main):025:0> create 'hbase_hive','info'1.2 向hbase_hive表中插入两条测试数据hba

hive

hbase

hadoop

大数据

数据

原创 2021-12-08 10:14:49 406 阅读

Flume安装及基本使用

前置准备Flume 需要依赖 JDK 1.8+，并且下面有案例需要存储数据到HDFS，所以需要Hadoop集一、概述Apache Flume 是 Cloudera 公司开发，是一个分布式的、高可靠的、高可用的用于海量日志收集、聚合和传输的系统。它可以从不同的数据源收集数据，经过聚合后发送到存储系统中，通常用于日志数据的收集。Flume 分为 NG 和 OG (1.0 之前) 两个版本，NG 在

大数据

hadoop

flume

hdfs

数据

原创 2021-12-08 10:13:47 832 阅读

Kafka集群环境搭建

前置准备Kafka集群需要Zookeeper集群来进行管理，需要预先安装一、概述Kafka 由LinkedIn(领英)全球职场社交平台公司开发，贡献给Apache成为顶级项目，是一个分布式的流平台。它具有以下特点：支持消息的发布和订阅，类似于 RabbtMQ、ActiveMQ 等消息队列；支持数据实时处理；能保证消息的可靠性投递；支持消息的持久化存储，并通过多副本分布式的存储方案来保证

大数据

kafka

hadoop

zookeeper

apache

原创 2021-12-08 10:12:43 188 阅读

Azkaban-solo-server环境搭建

在azkaban3.0 以后的版本，提供了3种部署模式，这三种模式的区别如下：solo-server mode（单服务模式）：元数据默认存放在内置的 H2 数据库，该模式中 webServer(管理服务器) 和 executorServer(执行服务器) 运行在同一个进程中，进程名是 AzkabanSingleServer 。该模式适用于小规模工作流的调度，适合用于尝

大数据

hadoop

jar

mysql

编译过程

原创 2021-12-08 10:12:16 210 阅读

Azkaban-multiple-executor环境搭建

multiple-executor mode（分布式多服务模式）： 1个webServer，多个executorServer分布在不同节点上，存放元数据的数据库为 MySQL，MySQL 应采用主从模式进行备份和容错。该模式是最严格的生产环境。集群规划一、前置准备需要用到 Azkaban 编译后的 gz包（ azkaban-web-server-0.1.0-SNAPS

大数据

mysql

hadoop

服务器

xml

原创 2021-12-08 10:10:48 159 阅读

Maven安装与配置

系统环境：CentOS 7.x、Windows10JDK 版本：1.8+ 一、Window 下Maven安装与配置 1. 下载下载对应的Maven，我这里下载的是最新的apache-maven-3.6.3-bin.zip 2. 解压解压apache-maven-3.6.3-bin.zip，我这里解压到E:\software 3. 配置环境变量配置 Ma

大数据

centos

maven

apache

hadoop

原创 2021-12-08 10:09:36 170 阅读

Gradle安装与配置

系统环境：CentOS 7.x、Windows10JDK 版本：1.8+ 一、Window 下Gradle安装与配置 1. 下载下载对应的Gradle，我这里下载的是gradle-4.6-all.zip 2. 解压解压gradle-4.6-all.zip，我这里解压到E:\software 3. 配置环境变量配置 Gradle 环境变量:GRAD

gradle

linux

maven

hadoop

环境变量

原创 2021-12-08 10:08:42 1921 阅读

Docker环境下HA(高可用)-Hadoop集群

一、前置准备二、集群规划三、搭建Zookeeper集群 3.1 创建、启动并进入容器在这里大家需要将上一期的五个容器中的前三个提交成镜像，因为我们的端口映射需要做相应的更改（hadoop01、hadoop02和hadoop03）：[xiaokang@hadoop ~]$ sudo docker run -d --name hadoop01 --hostname hadoop

分布式

docker

hadoop

大数据

zookeeper

原创 2021-12-08 10:07:37 781 阅读

Spark-Local模式环境搭建

一、前置准备CentOS7、jdk1.8、scala-2.11.12、spark-2.4.5想要完成本期视频中所有操作，需要以下准备：二、环境搭建 2.1 下载并解压下载 Spark 安装包，这里我下载的是spark-2.4.5-bin-hadoop2.7.tgz。下载地址：# 解压[xiaokang@hadoop ~]$ tar -zxvf spark-2.4.5

Spark

大数据

linux

spark

hadoop

原创 2021-12-08 10:07:12 130 阅读

Docker环境下Hadoop完全分布式

一、前提条件以下所有操作都基于Docker，需要Docker基础并具备Docker环境二、备份和恢复镜像先将配置好的Docker容器提交为镜像：[xiaokang@hadoop docker_teach]$ sudo docker commit -a "xiaokang" -m "This is for backup" dadfd67c672d xiaokangxxs/hadoop-commi

docker

大数据

hadoop

分布式

服务器

原创 2021-12-08 10:06:32 616 阅读

HA-Spark集群环境搭建(Yarn模式)

前置准备CentOS7、jdk1.8、scala-2.11.12、spark-2.4.5、hadoop-2.7.7、zookeeper-3.5.7想要完成本期视频中所有操作，需要以下准备：一、集群规划二、集群配置 2.1 spark-env.sh[xiaokang@hadoop01 conf]$ cp spark-env.sh.template spark-env.shexp

hadoop

spark

大数据

视频教程

环境搭建

原创 2021-12-08 10:06:29 272 阅读

Scala环境搭建

系统环境：CentOS 7.x、Windows10JDK 版本：1.8+ 一、Window 下搭建开发环境 1. 环境准备确保 JDK8 安装成功, 并成功配置环境变量:JAVA_HOME, Path 2. 下载下载对应的Scala安装文件，我这里下载的是scala-2.11.12.zip 3. 解压解压scala-2.11.12.zip，我这里解

java

scala

大数据

hadoop

下载地址

原创 2021-12-08 10:05:19 150 阅读

Docker环境下Hadoop单机伪分布式

一、前提条件以下所有操作都基于Docker，需要预先安装二、编写Dockerfile[xiaokang@hadoop ~]$ sudo vim Hadoop-Single-Dockerfile#选择centos7.7.1908作为基础镜像FROM centos:centos7.7.1908#镜像维护者信息MAINTAINER "xiaokang<xiaokang.188@qq.com&g

docker

hadoop

分布式

hdfs

xml

原创 2021-12-08 10:04:26 841 阅读

DataX安装及基本使用

前置准备这里我们演示 MySQL 和 HDFS 之间的数据导入导出，需要预先安装 Hadoop集群。Hadoop 集群的安装教程如下：一、DataX 概述DataX 是一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。二、安装 2.1 下载并解压

大数据

hadoop

hdfs

mysql

json

原创 2021-12-08 10:04:09 466 阅读

Docker之镜像拉取、删除及重命名

可用镜像版本我这里给大家提供了Hadoop基础镜像、Hadoop单机伪分布式镜像以及Hadoop完全分布式镜像#Hadoop基础镜像registry.cn-beijing.aliyuncs.com/docker_xiaokang/hadoop-2.7.7:base#Hadoop单机伪分布式镜像registry.cn-beijing.aliyuncs.com/docker_xiaokang/had

docker

hadoop

完全分布式

hadoop基础

伪分布式

原创 2021-12-08 10:03:28 1090 阅读

DockerCompose搭建Zookeeper集群

一、前提条件以下所有操作会使用docker-compose来进行服务编排，前提需要安装Docker 二、安装Docker Compose下载最新稳定版的Docker Compose[xiaokang@hadoop ~]$ sudo curl -L "https://github.com/docker/compose/releases/download/1.25.5/docker-compose

docker

centos

hadoop

zookeeper

github

原创 2021-12-08 10:03:14 436 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

wx61a9f0f1df11e的博客

Hadoop集群环境搭建

Linux下Hive的安装

基于Zookeeper搭建Hadoop高可用集群

HDFS常用Shell命令

Azkaban-two-server环境搭建

Zookeeper单机环境和集群环境搭建

HBase单机伪分布式集群环境搭建

HA-HBase集群环境搭建

Kylin(麒麟)安装及简单使用

Hive更换Spark引擎

Linux下Python的安装

Linux下JDK的安装

Hadoop单机伪分布式环境搭建

Sqoop安装及基本使用

Hive与HBase交互

Flume安装及基本使用

Kafka集群环境搭建

Azkaban-solo-server环境搭建

Azkaban-multiple-executor环境搭建

Maven安装与配置

Gradle安装与配置

Docker环境下HA(高可用)-Hadoop集群

Spark-Local模式环境搭建

Docker环境下Hadoop完全分布式

HA-Spark集群环境搭建(Yarn模式)

Scala环境搭建

Docker环境下Hadoop单机伪分布式

DataX安装及基本使用

Docker之镜像拉取、删除及重命名

DockerCompose搭建Zookeeper集群