Spark 开发原则坐享其成要省要拖跳出单机思维 应用开发原则 ：坐享其成 : 利用 Spark SQL 优化能省则省、能拖则拖 : 节省数据量 , 拖后 Shuffle跳出单机思维 : 避免无谓的分布式遍历坐享其成设置好配置项，享受 Spark SQL 的性能优势，如钨丝计划、AQE、SQL functions钨丝计划：Tungsten 自定义了紧凑的二进制格式的数据结构，避免了 Java 对
Spark官方文档: Spark Configuration（Spark配置）Spark主要提供三种位置配置系统：环境变量：用来启动Spark workers，可以设置在你的驱动程序或者conf/spark-env.sh 脚本中；java系统性能：可以控制内部的配置参数，两种设置方法：编程的方式（程序中在创建SparkContext之前，使用System.setProperty（“xx”，“xxx
原创
2017-07-03 11:19:00
6359阅读
点赞
spark架构设计 1 角色名称 Client,Driver program,cluster manager/Yarn，workerNode 2 角色作用 client：用户通过client提交application程序，shell命令等 Driver：启动sparkContext环境，将application程序转换成任务RDD和DAG有向图，与clustermanger进行资源交互，分配ta
原创
2021-07-27 15:18:36
2120阅读
本编主要基于B站尚硅谷的视频及文档做出的一些改写和添加自己的
原创
2022-03-23 10:23:56
827阅读
Spark的发展\\ 对于一个具有相当技术门槛与复杂度的平台，Spark从诞生到正式版本的成熟，经历的时间如此之短，让人感到惊诧。2009年，Spark诞生于伯克利大学AMPLab，最开初属于伯克利大学的研究性项目。它于2010年正式开源，并于2013年成为了Aparch基金项目，并于2014年成为Aparch基金的顶级项目，整个过程不到五年时间。\\ 由于Spark出自伯克利大学，使其在整个
文章目录1. 什么是Spark2. 为什么要学习Spark3. Spark特点4. Spark体系结构5. Spark运行机制及原理分析1. 什么是SparkApache Spark™
1.算子：RDD的方法就叫算子 RDD:spark中分区的集合 textFile(“文件路径”) parallilize(数组/元组/map等一系列集合)2.spark中算子分类： （1）Transformations类算子：不能自己执行，需要Action类算子。 flatMap,map,sortBy,sortByKey,mapToPair,reduceByKey （2）Action类算子：触发T
转载
2023-08-30 15:08:43
95阅读
Quick Start官方文档推荐用Dataset，但是RDD还是要学 我觉得在linux虚拟机里用idea进行本地程序调试最舒服了，具体怎么做请看图解spark那本书环境搭建搭建不包含hadoop的单节点伪分布式spark！！！！ 搭建不包含hadoop的单节点伪分布式spark！！！！ 搭建不包含hadoop的单节点伪分布式spark！！！！ 挺简单的，参照我另一篇博客里搭建spark一步一步
转载
2023-06-20 09:32:01
78阅读
在《推荐系统》中，详细的介绍了常用的推荐系统，大家基本上对推荐系统有了一个认识。这里我就简单的讲述一下基于spark的推荐系统。 spark有着处理速度快，容易使用，而且可以和很多数据库融合的优势，所以在大数据分析中经常使用。具体的介绍我就不在这里赘述了，有兴趣的童鞋可以去看看《Spark快速大数据分析》，这本书详细的介绍了spark的基础知识和使用方法，是我学过spark中讲解最清晰和最
一：Spark SQL下的Parquet意义再思考1， 如果说HDFS是大数据时代分布式文件系统存储的事实标准的话，Parquet则是整个大数据时代文件存储格式的事实标准。2， 速度更快：从使用Spark SQL 操作普通文件CSV和Parquet文件的速度对比上来看，绝大多数情况下使用Parquet会比使用CSV等普通文件速度提升10倍左右（在一些普通文件系统无法再Spar
转载
2023-08-21 10:48:03
95阅读
本文翻自官方博客，略有添加：https://github.com/mesos/spark/wiki/Spark-Programming-GuideSpark发指南 从高的面看，其实每一个Spark的用，都是一个Driver类，通运行用户定义的main函，在集群上行各种并发操作和算Spark提供的最主要的抽象，是一个性分布式据集(RDD)，它是一种特殊集合，可以分布在集群的点上，以函式程操
哈喽，大家好，我是强哥。不知道大家Scala学得怎么样了？不过不管你们学得怎么样，反正我是简单的过过一遍了。诶~就是这么牛逼。今天我们就开始正式学Spark了。Spark是什么？既然要学Spark，首先就要弄懂Spark是什么？或者说Spark能为我们做什么？别到处百度。记住，直接看官网是最权威的：从上图中我们看出几个重点：多语言：说明Spark引擎支持多语言操作。单节点或集群：单节点这个我们自己
Spark 2.x管理与开发-Spark Streaming-Spark Streaming进阶（六）【输入DStreams和接收器】输入DStreams表示从数据源获取输入数据流的DStreams。在NetworkWordCount例子中，lines表示输入DStream，它代表从netcat服务器获取的数据流。每一个输入流DStream和一个Receiver对象相关联，这个Receiver从源
相信很多人和我一样， 在控制台中总是可以看到会打印出如下的语句： INFO ExternalAppendOnlyMap: Thread 94 spilling in-memory map of 63.2 MB to disk (7 times so far) 经过查询一下，摘抄入下：AppendOnlyMap/ExternalAppendOnlyMap在spark被广泛使用，
转载
2023-08-03 19:38:11
50阅读
学习笔记Spark简介spark 可以很容易和yarn结合，直接调用HDFS、Hbase上面的数据，和hadoop结合。配置很容易。spark发展迅猛，框架比hadoop更加灵活实用。减少了延时处理，提高性能效率实用灵活性。也可以与hadoop切实相互结合。spark核心部分分为RDD。Spark SQL、Spark Streaming、MLlib、GraphX、Sp
最近参考了几篇examples，发觉example+doc才是绝配。 由于集群Spark版本是2.1.1，所以我学习的examples示例是2.1.1版本中的，2.2.0版本中关于ml【也就是DataFrame版的mllib】的examples有不少内容与2.1.1版本不同。 **注意：**使用ml的一些example还需要导入examples下的scopt_2.11-3.3.0.jar和spar
转载
2023-09-06 10:53:26
157阅读
1. Graphx概念针对某些领域，如社交网络、语言建模等，graph-parallel系统可以高效地执行复杂的图形算法，比一般的data-parallel系统更快。Graphx是将graph-parallel的data-parallel统一到一个系统中。允许用户将数据当成一个图或一个集合RDD，而简化数据移动或复杂操作。2. 属性图属性图为有向多重图，带有链接到每个顶点和边的用户定义的对象。有向
概述Spark底层使用netty作为节点间通信的桥梁。其实现在common/network-common包中。common/network-common包主要是对netty进行了一层封装，主要是定义了一套消息格式，粘包拆包，链路生命周期对应方法实现等功能。我们首先来看一下network-common包的包结构：其中buffer包为实现Netty的ByteBuf和Java NIO的ByteBuffe
