一、流计算概述静态数据、流数据特点实时处理、主动推送大量、快速、时变、持续到达低延迟、可扩展、高可靠二、Spark Streaming模仿流计算Spark是以线程级别并行，实时响应级别高可以实现秒级响应，变相实现高效的流计算Spark Streaming是一个基于Spark Core之上的实时计算框架，可以从很多数据源消费数据并对数据进行处理。三、DStream在
原创
2024-04-16 13:38:49
20阅读
Spark（直接读取mysql中的数据） 两种方法的目的：进行mysql数据的数据清洗 方法一： ①执行 [root@head42 spark]# spark-shell --jars /opt/spark/jars/mysql-connector-java-5.1.38.jar ②执行 val d
转载
2020-09-08 17:38:00
156阅读
2评论
Spark集群 0.0体验安装Spark在集群单节点 1.tar tar xzvf xxx.tgz C /soft/ ln s /soft/spark 2.1.0 bin hadoop2.7 /soft/spark 2.配置环境变量 SPARK_HOME=/soft/spark PATH=$SPAR
转载
2018-10-12 19:53:00
99阅读
2评论
Spark是什么？
既然设置好了Spark，现在我们讨论下Spark是什么。Spark是个通用的集群计算框架，通过将大量数据集计算任务分配到多台计算机上，提供高效内存计算。如果你熟悉Hadoop，那么你知道分布式计算框架要解决两个问题：如何分发数据和如何分发计算。Hadoop使用HDFS来解决分布式数据问题，MapReduce计算范式提供有效的分布式计算。类似的，Spark拥有多种语言的函数式
转载
2022-03-28 14:58:36
167阅读
#flatMapval favMovies = sc.parallelize(List("Pulp Fiction","Requiem for a dream","Aclockwork Orange"));favMovies.flatMap(movieTitle=>movieTitle.split(" ")).collect() #sampleval data = s...
原创
2021-08-24 19:24:21
99阅读
#flatMapval favMovies = sc.parallelize(List("Pulp Fiction","Requiem for a dream","
原创
2022-02-18 14:51:18
53阅读
package com.shujia.spark.streaming import org.apache.spark.SparkConf import org.apache.spark.streaming.dstream.{DStream, ReceiverInputDStream} import ...
转载
2021-07-25 16:53:00
137阅读
2评论
安装jdk 下载spark安装包 解压 重点来了： 配置 spark： 进入 conf 》 spark-env.sh.template文件 cd conf/ mv spark-env.sh.template spark-env.sh vi spark-env.sh 添加： 在该配置文件中添加如下配置
转载
2017-09-15 20:46:00
268阅读
将相同国家进行分组，然后将count相加sum(count)， 对sum(count)进行排序，输出top5 val path="/Volumes/Data/BigData_code/data/flight-data/csv/2015-summary.csv" val data = spark.re
原创
2021-07-15 15:06:30
112阅读
在前面我们已经准备了三台服务器，并做好初始化，配置好jdk与免密登录等。并且已经安装好了hadoop集群。如果还没有配置好的，参考我前面两篇博客：Spark集群环境搭建——服务器环境初始化：Spark集群环境搭建——Hadoop集群环境搭建：集群规划：搭建Spark集群1、下载：官网地址：http://spark.apache.org/下载地址：https://www.apache.org/dyn
Spark Streaming 简单介绍以及WC案例
原创
2022-08-28 00:50:20
183阅读
Spark是什么？既然设置好了Spark，现在我们讨论下Spark是什么。Spark是个通用的集群计算框架，通过将大量数据集计算任务分配到多台计算机上，提供高效内存计算。如果你熟悉Hadoop，那么你知道分布式计算框架要解决两个问题：如何分发数据和如何分发计算。Hadoop使用HDFS来解决分布式数据问题，MapReduce计算范式提供有效的分布式计算。类似的，Spark拥有多种语言的函数
转载
2021-06-17 14:01:32
241阅读
大家好，我是不温卜火，是一名计算机学院大数据专业大二的学生，昵称来源于成语—不温不火，本意是希望自己性情温和。作为一名互联网行业的小白，博主写博客一方面是为了记录自己的学习过程，另一方面是总结自己所犯的错误希望能够帮助到很多和自己一样处于起步阶段的萌新。但由于水平有限，博客中难免会有一些错误出现，有纰漏之处恳请各位大佬不吝赐教！暂时只有csdn这一个平台 本片博文为大家
原创
2022-02-06 12:01:54
181阅读
大家好，我是不温卜火，是一名计算机学院大数据专业大二的学生，昵称来源
原创
2021-09-02 13:52:50
263阅读
1.1 Spark 是什么 Spark 是一种基于内存的快速、通用、可扩展的大数据分析计算引擎。1.2 Spark or Hadoop Hadoop 的MR框架和Spark框架都是数据处理框架，那么我们在使用时如何选择呢？ 1.Hadoop MapReduce 由于其设计初衷并不是为了满足循环迭代式数据流处理，因此在多
并行运行的数据可复用场景（如：机器学习
SparkContext是整个Spark的唯一入口，是Spark上层应用和底层实现的中转站，以重要性不言而喻，这也是我学习Spark源码的第一步。 借鉴 博主里面的时序图，可以清楚的看到SparkContext的执行流程。SparkContext在初始化过程中，主要实现以下几个组件：SparkEnvDAGSchedulerTaskSchedulerSchedulerBackendWebUI在Sp
转载
2023-12-08 10:53:52
50阅读
文章总体概览优化开发原则：
1、避免创建重复rdd
2、尽可能复用rdd：避免重复计算
3、合适的持久化策略：
memory_only memory_only_ser memory_and_disk等
4、尽量避免shuffle算子：
如r
转载
2024-08-22 19:52:38
57阅读
<!DOCTYPE html> <html> <head> <meta charset="utf-8"> <title>插入图像</title> <style type="text/css"> body{text-align: center;} </style> </head> <body> <h2>网页中插入图像</h2> <hr color="#66ff33" width="
转载
2019-09-29 18:41:00
52阅读
2评论
6骰子（1）
原创
2021-12-27 14:31:32
977阅读
引用：http://www.cnblogs.com/suiqirui19872005/archive/2007/09/01/878122.htmlJquery使用手册1--核心部份 作者:choyJquery使用手册3--css操作 作者:choyJquery使用手册4--javascript处理 作者:choyJquery使用手册5--动态效果作者:choyJquery使用手册6-
转载
2012-08-27 15:30:00
64阅读
2评论
