菲立思教育的博客_JavaScript,Java,python,Mysql,Hadoop,微信开发,Spark,redis

1.初识scala

Scala(Scala Language的简称)语言是一种能够运行于JVM和.Net平台之上的通用编程语言，既可用于大规模应用程序开发，也可用于脚本编程。本文主要讲解scala简介、特性、编程方式、基本语法、关键字、注释及变量。

scala

面向对象

函数式编程

基本语法

变量

原创 2018-09-09 16:33:05 645 阅读 1点赞

14.spark mllib之快速入门

MLlib是Spark提供提供机器学习的库，专为在集群上并行运行的情况而设计。MLlib包含很多机器学习算法，可在Spark支持的所有编程语言中使用。MLlib设计理念是将数据以RDD的形式表示，然后在分布式数据集上调用各种算法。其实，MLlib就是RDD上一系列可供调用的函数的集合。本文主要内容有简介、数据类型、统计、算法。

SparkMLlib

Vector

LabeledPoint

Model

机器学习

原创 2018-09-09 16:24:28 5644 阅读 1点赞

13.spark streaming之快速入门

Spark Streaming是Spark核心API的扩展，可以实现可伸缩、高吞吐量、具备容错机制的实时流时数据的处理。支持多种数据源，比如Kafka、Flume、Twitter、ZeroMQ、Kinesis 以及TCP sockets。可以使用诸如map、reduce、join和window等高级函数进行复杂算法（比如，机器学习和图计算）的处理。最后还可以将处理结果存储到文件系统，数据库和仪表盘。本文主要内容有简介、架构与抽象、转化操作、行动操作。

SparkStreaming

DStream

checkpoint

window

updateStateByKey

原创 2018-09-09 16:20:43 4399 阅读 1点赞

12.spark sql之读写数据

Spark SQL支持多种结构化数据源，轻松从各种数据源中读取Row对象。这些数据源包括Parquet、JSON、Hive表及关系型数据库等。当只使用一部分字段时，Spark SQL可以智能地只扫描这些字段，而不会像hadoopFile方法一样简单粗暴地扫描全部数据。SparkSQL之读写数据主要内容有：Parquet、JSON、Hive表、JDBC连接关系型数据库。

SparkSQL

Parquet

JSON

Hive

JDBC

原创 2018-09-09 16:11:25 3236 阅读 1点赞

11.spark sql之RDD转换DataSet

简介 Spark SQL提供了两种方式用于将RDD转换为Dataset。 - 使用反射机制推断RDD的数据结构当spark应用可以推断RDD数据结构时，可使用这种方式。这种基于反射的方法可以使代码更简洁有效。通过编程接口构造一个数据结构，然后映射到RDD上当spark应用无法推断RDD数据结构时，可使用这种方式。反射方式 scala // For...

SparkSQL

RDD

DataSet

反射方式

编程方式

原创 2018-09-09 16:10:08 4707 阅读 1点赞

10.spark sql之快速入门

spark sql快速入门主要内容有：Spark SQL前世今生（Hive&Shark、Shark&SparkSQL）、简介（SQL和DataFrame/DataSet）、DataFrame与DataSet创建及操作、SQL操作。

SparkSQL

Shark

DataFrame

DataSet

SQL

原创 2018-09-09 16:07:19 922 阅读

9.spark core之共享变量

简介 spark执行操作时，可以使用驱动器程序Driver中定义的变量，但有时这种默认的使用方式却并不理想。集群中运行的每个任务都会连接驱动器获取变量。如果获取的变量比较大，执行效率会非常低下。每个任务都会得到这些变量的一份新的副本，更新这些副本的值不会影响驱动器中的对应变量。如果驱动器需要获取变量的结果值，这种方式是不可行的。 spark为了解决这两个问题，提供了两种类型的...

共享变量

累加器

Accumulator

广播变量

BroadCast

原创 2018-09-09 16:05:20 1502 阅读

3.spark运行模式

spark支持的运行模式：本地模式、本地集群模式、standalone模式、yarn模式及mesos模式。

spark

运行模式

本地模式

原创 2018-08-25 23:51:44 1249 阅读

2.spark基本概念

本文主要讲述spark中的基本概念，包括Application、Job、Stage、Task、ClusterManger、Executor、Driver、DAGScheduler、TaskScheduler等。

spark

基本概念

stage

DAGScheduler

原创 2018-08-25 23:49:19 1240 阅读

1.spark简介

spark是一个用于大规模数据处理的统一计算引擎。适用于各种各样原先需要多种不同的分布式平台处理的场景，包括批处理、迭代计算、交互式查询、流处理。通过统一的框架将各种处理流程整合到一起。本文主要讲解spark特性、spark生态栈、spark用户及用途、spark简史。

spark

简介

特性

spark

原创 2018-08-25 23:44:50 1190 阅读

7.spark core之数据分区

spark一个最重要的特性就是对数据集在各个节点的分区进行控制。控制数据分布可以减少网络开销，极大地提升整体性能。spark core之数据分区主要包括：分区器、影响分区的算子操作、repartition和partitionby的区别、repartition和coalesce的区别、实例分析。

spark

partitiner

partitionby

repartition

coalesce

原创 2018-08-25 22:48:00 1692 阅读

6.spark core之键值对操作

键值对RDD（pairRDD）是spark中许多操作所需要的常见数据类型，通常用来进行聚合计算。本文内容主要包括：创建Pair RDD、Pair RDD转化操作（聚合、分组、连接、排序）、Pair RDD行动操作。

spark

Pair RDD

聚合

Transformation

Action

原创 2018-08-25 22:31:20 801 阅读

8.spark core之读写数据

park支持多种数据源，从总体来分分为两大部分：文件系统和数据库。文件系统中常见的存储格式有：文本文件、json、csv与tsv、sequencefile等。数据库分为关系型数据库（MySQL、PostgreSQL等）与非关系型数据库（HBase，ElasticSearch等）

spark

csv

json

sequenceFile

JDBC

原创 2018-08-25 20:40:02 10000+阅读

5.spark core之RDD编程

spark core之RDD编程包括：五大特性、创建RDD、RDD操作(转化操作、行动操作、缓存)、容错机制。

spark

RDD

transformation

action

缓存

原创 2018-08-23 23:14:01 972 阅读

4.spark快速入门

spark快速入门：下载spark、解压spark、运行案例及交互式shell、使用spark shell进行交互式分析、独立应用

spark

scala

python

java

原创 2018-08-23 23:04:20 861 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

java大数据编程

1.初识scala

14.spark mllib之快速入门

13.spark streaming之快速入门

12.spark sql之读写数据

11.spark sql之RDD转换DataSet

10.spark sql之快速入门

9.spark core之共享变量

3.spark运行模式

2.spark基本概念

1.spark简介

7.spark core之数据分区

6.spark core之键值对操作

8.spark core之读写数据

5.spark core之RDD编程

4.spark快速入门