heibaiying的博客_开源项目,大数据常用软件安装指南,随笔

Spark 系列（十）—— Spark SQL 外部数据源

一、简介1.1多数据源支持Spark支持以下六个核心数据源，同时Spark社区还提供了多达上百种数据源的读取方式，能够满足绝大部分使用场景。CSVJSONParquetORCJDBC/ODBCconnectionsPlain-textfiles注：以下所有测试文件均可从本仓库的resources目录进行下载1.2读数据格式所有读取API遵循以下调用格式：//格式DataFrameReader.fo

Spark

原创 2019-09-23 09:00:31 3429 阅读

Spark 系列（九）—— Spark SQL 之 Structured API

一、创建DataFrame和Dataset1.1创建DataFrameSpark中所有功能的入口点是SparkSession，可以使用SparkSession.builder()创建。创建后应用程序就可以从现有RDD，Hive表或Spark数据源创建DataFrame。示例如下：valspark=SparkSession.builder().appName("Spark-SQL").master(

Spark

原创 2019-09-23 08:59:36 1195 阅读

Spark 系列（八）—— Spark SQL 之 DataFrame 和 Dataset

一、SparkSQL简介SparkSQL是Spark中的一个子模块，主要用于操作结构化数据。它具有以下特点：能够将SQL查询与Spark程序无缝混合，允许您使用SQL或DataFrameAPI对结构化数据进行查询；支持多种开发语言；支持多达上百种的外部数据源，包括Hive，Avro，Parquet，ORC，JSON和JDBC等；支持HiveQL语法以及HiveSerDes和UDF，允许你访问现有的

Spark

原创 2019-09-23 08:58:38 1125 阅读

Spark 系列（七）—— 基于 ZooKeeper 搭建 Spark 高可用集群

一、集群规划这里搭建一个3节点的Spark集群，其中三台主机上均部署Worker服务。同时为了保证高可用，除了在hadoop001上部署主Master服务外，还在hadoop002和hadoop003上分别部署备用的Master服务，Master服务由Zookeeper集群进行协调管理，如果主Master不可用，则备用Master会成为新的主Master。二、前置条件搭建Spark集群前，需要保证

Spark

原创 2019-09-21 10:59:53 775 阅读

Spark 系列（六）—— 累加器与广播变量

一、简介在Spark中，提供了两种类型的共享变量：累加器(accumulator)与广播变量(broadcastvariable)：累加器：用来对信息进行聚合，主要用于累计计数等场景；广播变量：主要用于在节点间高效分发大对象。二、累加器这里先看一个具体的场景，对于正常的累计求和，如果在集群模式中使用下面的代码进行计算，会发现执行结果并非预期：varcounter=0valdata=Array(1,

Spark

原创 2019-09-21 10:58:44 921 阅读

Spark 系列（五）—— Spark 运行模式与作业提交

一、作业提交1.1spark-submitSpark所有模式均使用spark-submit命令提交作业，其格式如下：./bin/spark-submit\--class<main-class>\#应用程序主入口类--master<master-url>\#集群的MasterUrl--deploy-mode<deploy-mode>\#部署模式--conf<

Spark

原创 2019-09-21 10:57:29 559 阅读

Spark 系列（三）—— 弹性式数据集 RDDs

弹性式数据集RDDs一、RDD简介RDD全称为ResilientDistributedDatasets，是Spark最基本的数据抽象，它是只读的、分区记录的集合，支持并行操作，可以由外部数据集或其他RDD转换而来，它具有以下特性：一个RDD由一个或者多个分区（Partitions）组成。对于RDD来说，每个分区会被一个计算任务所处理，用户可以在创建RDD时指定其分区个数，如果没有指定，则默认采用程

Spark

原创 2019-09-18 08:54:26 698 阅读

Spark 系列（二）—— Spark 开发环境搭建

一、安装Spark1.1下载并解压官方下载地址：http://spark.apache.org/downloads.html，选择Spark版本和对应的Hadoop版本后再下载：解压安装包：#tar-zxvfspark-2.2.3-bin-hadoop2.6.tgz1.2配置环境变量#vim/etc/profile添加环境变量：exportSPARK_HOME=/usr/app/spark-2.2

Spark

原创 2019-09-18 08:47:15 682 阅读

Spark 系列（一）—— Spark 简介

一、简介Spark于2009年诞生于加州大学伯克利分校AMPLab，2013年被捐赠给Apache软件基金会，2014年2月成为Apache的顶级项目。相对于MapReduce的批处理计算，Spark可以带来上百倍的性能提升，因此它成为继MapReduce之后，最为广泛使用的分布式计算框架。二、特点ApacheSpark具有以下特点：使用先进的DAG调度程序，查询优化器和物理执行引擎，以实现性能上

Spark

原创 2019-09-18 08:43:47 1238 阅读

Hadoop 系列（八）—— 基于 ZooKeeper 搭建 Hadoop 高可用集群

一、高可用简介Hadoop高可用(HighAvailability)分为HDFS高可用和YARN高可用，两者的实现基本类似，但HDFSNameNode对数据存储及其一致性的要求比YARNResourceManger高得多，所以它的实现也更加复杂，故下面先进行讲解：1.1高可用整体架构HDFS高可用架构如下：图片引用自：https://www.edureka.co/blog/how-to-set-u

Hadoop

ZooKeeper

原创 2019-09-17 13:04:00 760 阅读

Hadoop 系列（七）—— HDFS Java API

一、简介想要使用HDFSAPI，需要导入依赖hadoop-client。如果是CDH版本的Hadoop，还需要额外指明其仓库地址：<?xmlversion="1.0"encoding="UTF-8"?><projectxmlns="http://maven.apache.org/POM/4.0.0"xmlns:xsi="http://www.w3.org/2001/XMLSche

Hadoop

原创 2019-09-17 13:02:40 457 阅读

Hadoop 系列（六）—— HDFS 常用 Shell 命令

1.显示当前目录结构#显示当前目录结构hadoopfs-ls<path>#递归显示当前目录结构hadoopfs-ls-R<path>#显示根目录下内容hadoopfs-ls/2.创建目录#创建目录hadoopfs-mkdir<path>#递归创建目录hadoopfs-mkdir-p<path>3.删除操作#删除文件hadoopfs-rm<pat

Hadoop

原创 2019-09-17 13:01:32 867 阅读

Hadoop 系列（五）—— Hadoop 集群环境搭建

一、集群规划这里搭建一个3节点的Hadoop集群，其中三台主机均部署DataNode和NodeManager服务，但只有hadoop001上部署NameNode和ResourceManager服务。二、前置条件Hadoop的运行依赖JDK，需要预先安装。其安装步骤单独整理至：Linux下JDK的安装三、配置免密登录3.1生成密匙在每台主机上使用ssh-keygen命令生成公钥私钥对：ssh-key

hadoop

原创 2019-09-16 08:55:44 1549 阅读

Hadoop 系列（四）—— Hadoop 开发环境搭建

一、前置条件Hadoop的运行依赖JDK，需要预先安装，安装步骤见：Linux下JDK的安装二、配置免密登录Hadoop组件之间需要基于SSH进行通讯。2.1配置映射配置ip地址和主机名映射：vim/etc/hosts#文件末尾增加192.168.43.202hadoop0012.2生成公私钥执行下面命令行生成公匙和私匙：ssh-keygen-trsa3.3授权进入~/.ssh目录下，查看生成的公

hadoop

原创 2019-09-16 08:54:49 517 阅读

Hadoop 系列（三）—— 分布式计算框架 MapReduce

一、MapReduce概述HadoopMapReduce是一个分布式计算框架，用于编写批处理应用程序。编写好的程序可以提交到Hadoop集群上用于并行处理大规模的数据集。MapReduce作业通过将输入的数据集拆分为独立的块，这些块由map以并行的方式处理，框架对map的输出进行排序，然后输入到reduce中。MapReduce框架专门用于<key，value>键值对处理，它将作业的输

Hadoop

MapReduce

原创 2019-09-13 17:50:47 1110 阅读

Hadoop 系列（二）—— 集群资源管理器 YARN

一、hadoopyarn简介ApacheYARN(YetAnotherResourceNegotiator)是hadoop2.0引入的集群资源管理系统。用户可以将各种服务框架部署在YARN上，由YARN进行统一地管理和资源分配。<divalign="center"><imgwidth="600px"src="https://raw

hadoop

yarn

原创 2019-09-13 17:48:20 1115 阅读

Hadoop 系列（一）—— 分布式文件系统 HDFS

一、介绍HDFS（HadoopDistributedFileSystem）是Hadoop下的分布式文件系统，具有高容错、高吞吐量等特性，可以部署在低成本的硬件上。二、HDFS设计原理<divalign="center"><imgwidth="600px"src="https://raw.githubusercontent.com/

hadoop

hdfs

原创 2019-09-11 14:46:25 514 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

heibaiying

Spark 系列（十）—— Spark SQL 外部数据源

Spark 系列（九）—— Spark SQL 之 Structured API

Spark 系列（八）—— Spark SQL 之 DataFrame 和 Dataset

Spark 系列（七）—— 基于 ZooKeeper 搭建 Spark 高可用集群

Spark 系列（六）—— 累加器与广播变量

Spark 系列（五）—— Spark 运行模式与作业提交

Spark 系列（三）—— 弹性式数据集 RDDs

Spark 系列（二）—— Spark 开发环境搭建

Spark 系列（一）—— Spark 简介

Hadoop 系列（八）—— 基于 ZooKeeper 搭建 Hadoop 高可用集群

Hadoop 系列（七）—— HDFS Java API

Hadoop 系列（六）—— HDFS 常用 Shell 命令

Hadoop 系列（五）—— Hadoop 集群环境搭建

Hadoop 系列（四）—— Hadoop 开发环境搭建

Hadoop 系列（三）—— 分布式计算框架 MapReduce

Hadoop 系列（二）—— 集群资源管理器 YARN

Hadoop 系列（一）—— 分布式文件系统 HDFS

欢迎