闭关修炼ing的博客_spark

SparkStreaming 性能调优

在开发Spark Streaming应用程序时，要结合集群中各节点的配置情况尽可能地提高数据处理的实时性。在调优的过程中，一方面要尽可能利用集群资源来减少每个批处理的时间；另一方面要确保接收到的数据能及时处理掉。运行时间优化设置合理的批处理时间和窗口大小Spark Streaming中作业之间通常存在依赖关系，后面的作业必须确保前面的作业执行结束后才能提交，若前面的作业的执行时间超过了设置的批处理

性能调优

sparkStreaming

原创 2017-10-11 20:08:55 3774 阅读

spark入门知识和job任务提交流程

spark是Apache开源社区的一个分布式计算引擎，基于内存计算，所以速度要快于hadoop.下载地址spark.apache.org安装复制一台单独的虚拟机，名c修改其ip，192.168.56.200修改其hostname为c，hostnamectl set-hostname c修改/etc/hosts加入对本机的解析重启网络服务 systemctl restart network上传spa

入门

job

spark

原创 2017-09-24 13:50:38 1777 阅读 1点赞

Spark SQL 中 dataFrame 学习总结

dataFrame多了数据的结构信息。就是schema。RDD是分布式的 Java对象的集合。DataFrame是分布式的Row对象的集合。DataFrame 提供了详细的结构信息，可以让sparkSQL清楚的知道数据集中包含哪些列，列的名称和类型各是什么? RDD是分布式的 Java对象的集合。DataFrame是分布式的Row对象的集合。DataFrame除

SQL

dataSet

spark

原创 2017-09-13 14:44:15 2722 阅读

IntelJIdea 如何修改控制台字体大小和主题

写spark 代码时感觉输出的信息字体太小，看着不太舒服。有时候感觉主题太亮，可以这样调节一下。Ctrl+Alt+S [ Settings ]------> Editor----> Color and Fonts ------>Console Fonts选择size 字体大小和喜欢的字体类型。设置后确定，字体和主题就会变为自己喜欢的。

console

IntelJIDea

原创 2017-08-14 17:12:25 5503 阅读

Spark Streaming 实现数据实时统计案例

Spark 是一个基于内存式的分布式计算框架。具有高性能，高效可扩展，容错等优点。今天讲解一下spark的流计算，其实它也不完全是实时的流计算，算是一种准实时的流计算。上图讲解运行环境:需要linux环境下的spark环境本例用的centOS 6.5x64 因为需要使用TCP协议传输数据，所以需要安装一个nc插件。安装方式: yum install ncxxx 或者挂载光盘安装安装后启

spark

Streaming

流式计算

原创 2017-08-02 16:59:35 4790 阅读

yarn模式运行spark作业所有属性详解

摘要:Spark 参数调优，可以大大提高工作中程序的运行效率。下面简单介绍一下这些常用的调优参数属性名称默认值含义spark.yarn.am.memory 512m client模式下，YARN Application Master使用的内存总量spark.yarn.am.cores 1 client模式下

调优

spark

yarn

原创 2017-08-01 10:12:15 5878 阅读

Spark 参数传递问题解析

一 . sparkconf 这个需要在代码里面写，在代码里面写了，那么就不能更改了，即便你在外面传递了一个参数，最终也会在代码里面生效，它的优先级最高二 . sparksubmit / spark-shell 等脚本，一般在这里面传递，针对我这个应用的参数三 . 配置文件在conf 目录下，注意如果需要让参数生效，得template 去掉: 默认的

优化

参数

spark

原创 2017-08-01 08:42:15 1317 阅读

Spark操作—aggregate、aggregateByKey详解

aggregate函数将每个分区里面的元素进行聚合，然后用combine函数将每个分区的结果和初始值(zeroValue)进行combine操作。这个函数最终返回的类型不需要和RDD中元素类型一致。 seqOp操作会聚合各分区中的元素，然后combOp操作把所有分区的聚合结果再次聚合

spark

aggregate聚合

转载 2017-07-31 17:02:41 2467 阅读

Spark Shuffle过程详细分析

在MapReduce中shuffle和Spark的shuffle的过程有一些区别。这里做一下具体的介绍。Mapreduce的shuffle过程图解Spark shuffle过程图解注意:spark shuffle过程中没有分区和排序的过程，而且存储结果存储在内存中，所以速度要比mapreduce要快很多。先就到这里吧，图解的说明应该比较清晰了。有问题欢迎留言

mapreduce

shuffle

spark

原创 2017-07-26 17:08:56 1123 阅读

Spark 分析网站排名热度

需求:/ 解决是一个各个子模块内的热度排名--》排名得用sortBy ---》（可能就是简单的排序，或者是二次排序） ---》// 前面有一个wordCount---》算出次数出来 --》考虑什么作为key//算的一个网站下面，每个子模块下面的网页热度前2名：// 算的一个网站下面，每个子模块下面的网页热度前2名 --》每个子模块下面的网页的次数的前2名// 在实际开发中，

排名

spark

原创 2017-07-25 13:20:57 683 阅读

Spark 编程实战之经典算法TOP K

Top K Top K算法有两步，一是统计词频，二是找出词频最高的前K个词。 1.实例描述假设取Top 1，则有如下输入和输出。输入： Hello World Bye World Hello Hadoop Bye Hadoop Bye Hadoop Hello Hadoop

算法

spark

TopK

原创 2017-07-21 16:17:55 3153 阅读

sparkRDD 算子的创建和使用

spark是大数据领域近几年比较火的编程开发语言。有众多的好处，比如速度快，基于内存式计算框架。不多说直接讲 spark的RDD 算子的使用。如果有spark环境搭建等问题，请自行查找资料。本文不做讲述。spark rdd的创建有两种方式:1>从集合创建。也就是从父rdd继承过来2>从外部创建。import java.util.Arrays; import java

spark

rdd

算子

原创 2017-07-18 17:11:49 528 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

脚踏实地前行者

SparkStreaming 性能调优

spark入门知识和job任务提交流程

Spark SQL 中 dataFrame 学习总结

IntelJIdea 如何修改控制台字体大小和主题

Spark Streaming 实现数据实时统计案例

yarn模式运行spark作业所有属性详解

Spark 参数传递问题解析

Spark操作—aggregate、aggregateByKey详解

Spark Shuffle过程详细分析

Spark 分析网站排名热度

Spark 编程实战之经典算法TOP K

sparkRDD 算子的创建和使用