在前面我们已经准备了三台服务器，并做好初始化，配置好jdk与免密登录等。并且已经安装好了hadoop集群。如果还没有配置好的，参考我前面两篇博客：Spark集群环境搭建——服务器环境初始化：Spark集群环境搭建——Hadoop集群环境搭建：集群规划：搭建Spark集群1、下载：官网地址：http://spark.apache.org/下载地址：https://www.apache.org/dyn
SparkSQL1.什么是sparkSQL Spark SQL是Spark用来处理结构化数据的一个模块，它提供了一个编程抽象叫做DataFrame并且作为分布式SQL查询引擎的作用。 2.特点： 易整合，统一的数据访问方式，兼容hive，标准的数据连接DataFrame与RDD类似，DataFrame也是一个分布式数据容器。然而DataFrame更像传统数据库的二维表格，除了数据以外，还记录数据的
转载
2024-04-10 13:51:40
34阅读
# CDH Spark1 Spark2 实现流程
## 1. 简介
在开始具体讲解实现流程之前，我们先来了解一下CDH、Spark1和Spark2的基本概念。
### CDH
CDH（Cloudera's Distribution Including Apache Hadoop）是Cloudera公司提供的一套基于Apache Hadoop的大数据处理平台。CDH集成了多个开源组件，包括Had
原创
2023-08-13 03:25:24
109阅读
[性能测试]Spark1.x-2.xBenchmark
原创
2024-02-22 17:40:40
42阅读
# Spark 1 升级到 Spark 2 的指导
升级 Apache Spark 版本可能会让初学者感到困惑，尤其是从 Spark 1 版本升到 Spark 2 版本时。本文将引导你完成整个升级流程，确保你顺利完成这个过程。
## 升级流程
下面是升级的整体流程：
| 步骤编号 | 步骤描述 | 注释
特性概览官方release note：https://spark.apache.org/releases/spark-release-3-0-0.htmlhttps://spark.apache.org/docs/3.0.0/core-migration-guide.htmlhttp://spark.apache.org/releases/spark-release-3-0-2.html1.Ada
转载
2023-10-05 16:05:00
114阅读
概括spark SQL是一个spark结构数据处理模型。不像基本的rdd api，Spark 提供的接口可以给spark提供更多更多关于数据的结构和正在执行的计算的信息。另外，spark sql在性能优化上比以往的有做改善。目前有更多的方式和spark sql交互：sql，dataset api。无论你是用哪种api/语言，计算时最终使用相同的sql引擎。
SQL S
转载
2023-12-05 15:43:02
79阅读
1、Spark2.x实现了对Spark SQL和Hive SQL操作API的统一2、Spark2.x引入了SparkSession的概念，提供了一个统一的切入口来使用Spark的各项功能，统一了旧的SQLContext和HiveContext3、统一了DataFrame和DataSets的API4、Spark Streaming基于Spark SQL构建了high-level API，...
原创
2022-05-16 09:39:53
596阅读
第1章：使用Scala使用Spark进行实用的机器学习第2章：足够的线性代数用于Spark机器学习第3章：Spark的三个机器学习数据火枪手-一起完美第4章：实施强大的机器学习系统的常用食谱第5章：Spark 2.0中具有回归和分类功能的实用机器学习-第一部分第6章：Spark 2.0中具有回归和分类功能的实用机器学习-第二部分第7章：可随Spark扩展的推荐引擎第8章：使用Apache Spar
原创
2021-04-25 22:50:36
225阅读
ok，上一篇文章讲到我的最新款m1 macbook air 发现了一系列问题，作为一个搞机友，我很不爽，联系了苹果技术支持后，用了所谓的安全启动，smc等方法都失败了，最近也不能去苹果店，后来打电话联系重装系统需要200手续费，忍无可忍，便无需再忍，自己搞！经过了3次失败的尝试总结了许多的经验，现写出我个人使用的最简单的方法苹果官网以及大佬们分享的方法我就不一一细说了，百度上都有，简而言之就是长按
转载
2023-11-16 19:52:49
82阅读
Spark集群 0.0体验安装Spark在集群单节点 1.tar tar xzvf xxx.tgz C /soft/ ln s /soft/spark 2.1.0 bin hadoop2.7 /soft/spark 2.配置环境变量 SPARK_HOME=/soft/spark PATH=$SPAR
转载
2018-10-12 19:53:00
99阅读
2评论
Spark是什么？
既然设置好了Spark，现在我们讨论下Spark是什么。Spark是个通用的集群计算框架，通过将大量数据集计算任务分配到多台计算机上，提供高效内存计算。如果你熟悉Hadoop，那么你知道分布式计算框架要解决两个问题：如何分发数据和如何分发计算。Hadoop使用HDFS来解决分布式数据问题，MapReduce计算范式提供有效的分布式计算。类似的，Spark拥有多种语言的函数式
转载
2022-03-28 14:58:36
167阅读
#flatMapval favMovies = sc.parallelize(List("Pulp Fiction","Requiem for a dream","Aclockwork Orange"));favMovies.flatMap(movieTitle=>movieTitle.split(" ")).collect() #sampleval data = s...
原创
2021-08-24 19:24:21
99阅读
#flatMapval favMovies = sc.parallelize(List("Pulp Fiction","Requiem for a dream","
原创
2022-02-18 14:51:18
53阅读
package com.shujia.spark.streaming import org.apache.spark.SparkConf import org.apache.spark.streaming.dstream.{DStream, ReceiverInputDStream} import ...
转载
2021-07-25 16:53:00
137阅读
2评论
安装jdk 下载spark安装包 解压 重点来了： 配置 spark： 进入 conf 》 spark-env.sh.template文件 cd conf/ mv spark-env.sh.template spark-env.sh vi spark-env.sh 添加： 在该配置文件中添加如下配置
转载
2017-09-15 20:46:00
268阅读
将相同国家进行分组，然后将count相加sum(count)， 对sum(count)进行排序，输出top5 val path="/Volumes/Data/BigData_code/data/flight-data/csv/2015-summary.csv" val data = spark.re
原创
2021-07-15 15:06:30
112阅读
Spark Streaming 简单介绍以及WC案例
原创
2022-08-28 00:50:20
183阅读
Spark是什么？既然设置好了Spark，现在我们讨论下Spark是什么。Spark是个通用的集群计算框架，通过将大量数据集计算任务分配到多台计算机上，提供高效内存计算。如果你熟悉Hadoop，那么你知道分布式计算框架要解决两个问题：如何分发数据和如何分发计算。Hadoop使用HDFS来解决分布式数据问题，MapReduce计算范式提供有效的分布式计算。类似的，Spark拥有多种语言的函数
转载
2021-06-17 14:01:32
241阅读
【⒈】 听歌,. 伤心,
寂静.
我知道我们的开始，却怎么也没料到会是这样一种结局。
虽然早就从心底放下你的一切一切，可是，你知道么，我想我真的会永远记得你的。我忘不了，我也不知道为什么。【2】 一个人,一个夜晚的无眠; 一首歌,一段回忆的开始; 一幕幕,回忆着过往的点点滴滴. 可我从来没哭泣，虽然我的眼泪经常决堤。【3】 朋友取笑我说,你很懂得去理解他人的事,但你永远都理不清自己的感情.
原创
2009-10-07 18:29:38
411阅读
