heibaiying的博客_开源项目,大数据常用软件安装指南,随笔

大数据入门指南（GitHub开源项目）

项目GitHub地址：https://github.com/heibaiying/BigData-Notes前言大数据技术栈思维导图大数据常用软件安装指南一、Hadoop分布式文件存储系统——HDFS分布式计算框架——MapReduce集群资源管理器——YARNHadoop单机伪集群环境搭建Hadoop集群环境搭建HDFS常用Shell命令HDFSJavaAPI的使用基于Zookeeper搭建Ha

hadoop

spark

hive

storm

hbase

置顶原创 2019-06-18 21:06:11 3490 阅读 1点赞

Spark 系列（十）—— Spark SQL 外部数据源

一、简介1.1多数据源支持Spark支持以下六个核心数据源，同时Spark社区还提供了多达上百种数据源的读取方式，能够满足绝大部分使用场景。CSVJSONParquetORCJDBC/ODBCconnectionsPlain-textfiles注：以下所有测试文件均可从本仓库的resources目录进行下载1.2读数据格式所有读取API遵循以下调用格式：//格式DataFrameReader.fo

Spark

原创 2019-09-23 09:00:31 3391 阅读

Spark 系列（九）—— Spark SQL 之 Structured API

一、创建DataFrame和Dataset1.1创建DataFrameSpark中所有功能的入口点是SparkSession，可以使用SparkSession.builder()创建。创建后应用程序就可以从现有RDD，Hive表或Spark数据源创建DataFrame。示例如下：valspark=SparkSession.builder().appName("Spark-SQL").master(

Spark

原创 2019-09-23 08:59:36 1164 阅读

Spark 系列（八）—— Spark SQL 之 DataFrame 和 Dataset

一、SparkSQL简介SparkSQL是Spark中的一个子模块，主要用于操作结构化数据。它具有以下特点：能够将SQL查询与Spark程序无缝混合，允许您使用SQL或DataFrameAPI对结构化数据进行查询；支持多种开发语言；支持多达上百种的外部数据源，包括Hive，Avro，Parquet，ORC，JSON和JDBC等；支持HiveQL语法以及HiveSerDes和UDF，允许你访问现有的

Spark

原创 2019-09-23 08:58:38 1115 阅读

Spark 系列（七）—— 基于 ZooKeeper 搭建 Spark 高可用集群

一、集群规划这里搭建一个3节点的Spark集群，其中三台主机上均部署Worker服务。同时为了保证高可用，除了在hadoop001上部署主Master服务外，还在hadoop002和hadoop003上分别部署备用的Master服务，Master服务由Zookeeper集群进行协调管理，如果主Master不可用，则备用Master会成为新的主Master。二、前置条件搭建Spark集群前，需要保证

Spark

原创 2019-09-21 10:59:53 748 阅读

Spark 系列（六）—— 累加器与广播变量

一、简介在Spark中，提供了两种类型的共享变量：累加器(accumulator)与广播变量(broadcastvariable)：累加器：用来对信息进行聚合，主要用于累计计数等场景；广播变量：主要用于在节点间高效分发大对象。二、累加器这里先看一个具体的场景，对于正常的累计求和，如果在集群模式中使用下面的代码进行计算，会发现执行结果并非预期：varcounter=0valdata=Array(1,

Spark

原创 2019-09-21 10:58:44 885 阅读

Spark 系列（五）—— Spark 运行模式与作业提交

一、作业提交1.1spark-submitSpark所有模式均使用spark-submit命令提交作业，其格式如下：./bin/spark-submit\--class<main-class>\#应用程序主入口类--master<master-url>\#集群的MasterUrl--deploy-mode<deploy-mode>\#部署模式--conf<

Spark

原创 2019-09-21 10:57:29 541 阅读

Spark 系列（三）—— 弹性式数据集 RDDs

弹性式数据集RDDs一、RDD简介RDD全称为ResilientDistributedDatasets，是Spark最基本的数据抽象，它是只读的、分区记录的集合，支持并行操作，可以由外部数据集或其他RDD转换而来，它具有以下特性：一个RDD由一个或者多个分区（Partitions）组成。对于RDD来说，每个分区会被一个计算任务所处理，用户可以在创建RDD时指定其分区个数，如果没有指定，则默认采用程

Spark

原创 2019-09-18 08:54:26 685 阅读

Spark 系列（二）—— Spark 开发环境搭建

一、安装Spark1.1下载并解压官方下载地址：http://spark.apache.org/downloads.html，选择Spark版本和对应的Hadoop版本后再下载：解压安装包：#tar-zxvfspark-2.2.3-bin-hadoop2.6.tgz1.2配置环境变量#vim/etc/profile添加环境变量：exportSPARK_HOME=/usr/app/spark-2.2

Spark

原创 2019-09-18 08:47:15 669 阅读

Spark 系列（一）—— Spark 简介

一、简介Spark于2009年诞生于加州大学伯克利分校AMPLab，2013年被捐赠给Apache软件基金会，2014年2月成为Apache的顶级项目。相对于MapReduce的批处理计算，Spark可以带来上百倍的性能提升，因此它成为继MapReduce之后，最为广泛使用的分布式计算框架。二、特点ApacheSpark具有以下特点：使用先进的DAG调度程序，查询优化器和物理执行引擎，以实现性能上

Spark

原创 2019-09-18 08:43:47 1197 阅读

Hadoop 系列（八）—— 基于 ZooKeeper 搭建 Hadoop 高可用集群

一、高可用简介Hadoop高可用(HighAvailability)分为HDFS高可用和YARN高可用，两者的实现基本类似，但HDFSNameNode对数据存储及其一致性的要求比YARNResourceManger高得多，所以它的实现也更加复杂，故下面先进行讲解：1.1高可用整体架构HDFS高可用架构如下：图片引用自：https://www.edureka.co/blog/how-to-set-u

Hadoop

ZooKeeper

原创 2019-09-17 13:04:00 743 阅读

Hadoop 系列（七）—— HDFS Java API

一、简介想要使用HDFSAPI，需要导入依赖hadoop-client。如果是CDH版本的Hadoop，还需要额外指明其仓库地址：<?xmlversion="1.0"encoding="UTF-8"?><projectxmlns="http://maven.apache.org/POM/4.0.0"xmlns:xsi="http://www.w3.org/2001/XMLSche

Hadoop

原创 2019-09-17 13:02:40 454 阅读

Hadoop 系列（六）—— HDFS 常用 Shell 命令

1.显示当前目录结构#显示当前目录结构hadoopfs-ls<path>#递归显示当前目录结构hadoopfs-ls-R<path>#显示根目录下内容hadoopfs-ls/2.创建目录#创建目录hadoopfs-mkdir<path>#递归创建目录hadoopfs-mkdir-p<path>3.删除操作#删除文件hadoopfs-rm<pat

Hadoop

原创 2019-09-17 13:01:32 842 阅读

Hadoop 系列（五）—— Hadoop 集群环境搭建

一、集群规划这里搭建一个3节点的Hadoop集群，其中三台主机均部署DataNode和NodeManager服务，但只有hadoop001上部署NameNode和ResourceManager服务。二、前置条件Hadoop的运行依赖JDK，需要预先安装。其安装步骤单独整理至：Linux下JDK的安装三、配置免密登录3.1生成密匙在每台主机上使用ssh-keygen命令生成公钥私钥对：ssh-key

hadoop

原创 2019-09-16 08:55:44 1537 阅读

Hadoop 系列（四）—— Hadoop 开发环境搭建

一、前置条件Hadoop的运行依赖JDK，需要预先安装，安装步骤见：Linux下JDK的安装二、配置免密登录Hadoop组件之间需要基于SSH进行通讯。2.1配置映射配置ip地址和主机名映射：vim/etc/hosts#文件末尾增加192.168.43.202hadoop0012.2生成公私钥执行下面命令行生成公匙和私匙：ssh-keygen-trsa3.3授权进入~/.ssh目录下，查看生成的公

hadoop

原创 2019-09-16 08:54:49 498 阅读

Hadoop 系列（三）—— 分布式计算框架 MapReduce

一、MapReduce概述HadoopMapReduce是一个分布式计算框架，用于编写批处理应用程序。编写好的程序可以提交到Hadoop集群上用于并行处理大规模的数据集。MapReduce作业通过将输入的数据集拆分为独立的块，这些块由map以并行的方式处理，框架对map的输出进行排序，然后输入到reduce中。MapReduce框架专门用于<key，value>键值对处理，它将作业的输

Hadoop

MapReduce

原创 2019-09-13 17:50:47 1095 阅读

Hadoop 系列（二）—— 集群资源管理器 YARN

一、hadoopyarn简介ApacheYARN(YetAnotherResourceNegotiator)是hadoop2.0引入的集群资源管理系统。用户可以将各种服务框架部署在YARN上，由YARN进行统一地管理和资源分配。<divalign="center"><imgwidth="600px"src="https://raw

hadoop

yarn

原创 2019-09-13 17:48:20 1104 阅读

Hadoop 系列（一）—— 分布式文件系统 HDFS

一、介绍HDFS（HadoopDistributedFileSystem）是Hadoop下的分布式文件系统，具有高容错、高吞吐量等特性，可以部署在低成本的硬件上。二、HDFS设计原理<divalign="center"><imgwidth="600px"src="https://raw.githubusercontent.com/

hadoop

hdfs

原创 2019-09-11 14:46:25 500 阅读

基于 ZooKeeper 搭建 Hadoop 高可用集群

一、高可用简介Hadoop高可用(HighAvailability)分为HDFS高可用和YARN高可用，两者的实现基本类似，但HDFSNameNode对数据存储及其一致性的要求比YARNResourceManger高得多，所以它的实现也更加复杂，故下面先进行讲解：1.1高可用整体架构HDFS高可用架构如下：图片引用自：https://www.edureka.co/blog/how-to-set-u

zookeeper

hadoop

原创精选 2019-06-20 10:53:26 10000+阅读 1点赞 1评论

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

heibaiying