初次尝试用 Spark+scala 完成项目的重构，由于两者之前都没接触过，所以边学边用的过程大多艰难。首先面临的是如何快速上手，然后是代码调优、性能调优。本章主要记录自己在项目中遇到的问题以及解决方式，下篇会尝试调优方法。末尾会分享自己的学习资料，也供大多菜鸟第一次使用作为参考。由于自己项目中大量使用spark sql，所以下面的经验大多是和spark sql有关。同样下面也列出作为菜鸟在学
转载
2024-01-03 13:45:47
72阅读
实战Scala & Spark (1) http://blog.csdn.net/sinat_20069255/article/details/49282921
原创
2015-10-22 00:23:56
600阅读
写了点scala的内容，方便看spark源码，估计一两天就能看完，内容比较粗浅。 下载地址： http://download.csdn.net/detail/lsshlsw/7983541
转载
2014-09-28 08:28:00
85阅读
2评论
写了点scala的内容，方便看spark源码，估计一两天就能看完，内容比较粗浅。 下载地址： http://download.csdn.net/detail/lsshlsw/7983541
转载
2014-09-28 08:28:00
69阅读
2评论
DataSet可以通过Scala的序列获取到DataSet,也可以通过RDD转换得到DataSet,也可以通过DataFrame转换得到DataSet.说明:在实际使用
原创
2022-07-04 17:01:15
165阅读
准备json数据users.json[{"name":"张三" ,"age":18} ,{"name":"李四" ,"age":15}]注意,必须得是一行,不能是换行的.Maven依赖
原创
2022-07-04 17:01:57
246阅读
Spark SQLSpark SQL和我们之前讲Hive的时候说的hive on spark是不一样的。
hive on spark是表示把底层的mapreduce引擎替换为spark引擎。
而Spark SQL是Spark自己实现的一套SQL处理引擎。Spark SQL是Spark中的一个模块，主要用于进行结构化数据的处理。它提供的最核心的编程抽象，就是DataFrame。DataFrame=R
转载
2023-08-08 07:23:49
117阅读
Spark MapReduce的槽点 1.一个简单的WC程序，需要很多的java代码 1）自定义Mapper 2)自定义Reducer 3)通过Driver把Mapper和Reducer串起来 4）打包，上传到集群 5）在集群上提交WC程序 一句话：就是会花费非常多的时间在非业务逻辑改动的工作上 2 ...
转载
2021-08-17 16:23:00
207阅读
# Spark执行SparkSQL
Spark是一个强大的开源分布式计算框架，它支持在大规模数据集上进行高性能计算。而SparkSQL是Spark的一个子项目，它提供了一种用于结构化数据处理的高级数据处理接口。通过SparkSQL，用户可以使用SQL语句或者类似SQL的DataFrame API对结构化数据进行查询和分析，从而更方便地进行数据分析和机器学习。
## 安装Spark
首先，我们
原创
2023-08-01 01:39:24
89阅读
# 实现“SparkSQL Hive on Spark”的步骤
在开始之前，我们先确保你已经安装好了Spark和Hive，并且环境已经正确配置。接下来，我们将按照以下步骤来实现“SparkSQL Hive on Spark”。
## 步骤概览
下面是实现“SparkSQL Hive on Spark”的步骤概览：
| 步骤 | 描述 |
| --- | --- |
| 步骤1 | 创建Sp
原创
2023-07-31 07:42:43
117阅读
SparkSql初识目录：一、SprkSQL是什么 1.数据分析的两种形式 2.命令式、SQL的区别 3.SparkSQL的诞生及其特点 4.SparkSQL的应用场景二、SparkSQL案例一、Sp
原创
2022-08-12 10:33:50
357阅读
Spark SQL与Hive On Spark区别Hive是目前大数据领域，事实上的SQL标准。其底层默认是基于MapReduce实现的，但是由于MapReduce速度实在比较慢，因此这两年，陆续出来了新的SQL查询引擎。包括Spark SQL，Hive On Tez，Hive On Spark等。 Spark SQL与Hive On Spark是不一样的。Spark SQL是Spark自己研发出
转载
2023-09-15 21:54:02
124阅读
文章目录Spark SQL一、Spark SQL概述1.什么是DataFrame2.什么是DataSet二、Spark SQL编程1.DataFrame读取json文件1.1 创建DataFrame1.2 SQL风格语法 [重点]1.3 DSL风格语法1.4 RDD转换为DataFrame[重要]1.5 DataFrame转换为RDD2.DataSet2.1 创建DataSet2.2 RDD转换
转载
2023-08-11 00:04:51
108阅读
一、什么是scala scala 是基于JVMde 编程语言。JAVA是运行在jvm上的编程语言，java 源代码通过jvm被编译成class 文件，然后在os上运行class 文件。scala是运行在jvm 上的编程语言，scala源代码通过jvm被编译成class文件，然后在os上运行class文件。 二语法： 1.声明值和变量 var a =12 // 定义变量 vary val b...
原创
2021-07-29 10:50:00
208阅读
增加scala插件
原创
2022-09-05 16:28:17
100阅读
package comimport org.apache.spark.sql.{DataFrame, SparkSession}case class User(name: String, age: Int)object DF2RDD { def main(ar
原创
2022-07-04 17:00:30
96阅读
代码demo01是对象 demo02是基本类型package comimport org.apache.spark.SparkContextimport org.apach
原创
2022-07-04 17:01:52
44阅读
注意：下面的例子均在scala shell中演示的一、数据结构介绍对于Scala来说，同时支持可变集合和不可变集合，不可变集合一直都不会发生变化，可以安全的并发访问。 Scala优先采用不可变集合，同时几乎所有的集合类，Scala都同时提供了可变和不可变的版本。 下面是两个主要的包：不可变集合：scala.collection.immutable、可变集合： scala.collection.mu
转载
2023-09-26 22:11:31
456阅读
Spark之Scala文章目录Spark之Scala什么是Scala:Scala简介Scala的特点是什么：Scala的运行方式：介绍三种Scala代码编译 执行的方式：**2.** **通过控制台进行编译及执行****scala****文件****3.** **在****IDEA****开发工具中运行**什么是Scala:Scala
原创
2022-11-13 16:55:15
246阅读
Spark 是一种与 Hadoop 相似的开源集群计算环境，但是两者之间还存在一些不同之处，这些有用的不同之处使 Spark 在某些工作负载方面表现得更加优越，换句话说，Spark 启用了内存分布数据集，除了能够提供交互式查询外，它还可以优化迭代工作负载。 Spark 是在 Scala 语言中实现的，它将 Scala 用作其应用程序框架。与 Hadoop 不同，
转载
2023-05-22 22:58:58
627阅读
