Spark 是一种与 Hadoop 相似的开源集群计算环境，但是两者之间还存在一些不同之处，这些有用的不同之处使 Spark 在某些工作负载方面表现得更加优越，换句话说，Spark 启用了内存分布数据集，除了能够提供交互式查询外，它还可以优化迭代工作负载。 Spark 是在 Scala 语言中实现的，它将 Scala 用作其应用程序框架。与 Hadoop 不同，
转载
2023-05-22 22:58:58
627阅读
1、下载 sparkhttp://mirrors.cnnic.cn/apache/spark/spark-1.3.0/spark-1.3.0-bin-hadoop2.3.tgz2、下载scalahttp://www.scala-lang.org/download/2.10.5.html3、安装scalamkdir /usr/lib/scalatar –zxvf scala-2.10.5.tgzmv
原创
2015-06-23 17:33:32
587阅读
点赞
实战Scala & Spark (1) http://blog.csdn.net/sinat_20069255/article/details/49282921
原创
2015-10-22 00:23:56
600阅读
写了点scala的内容，方便看spark源码，估计一两天就能看完，内容比较粗浅。 下载地址： http://download.csdn.net/detail/lsshlsw/7983541
转载
2014-09-28 08:28:00
85阅读
2评论
写了点scala的内容，方便看spark源码，估计一两天就能看完，内容比较粗浅。 下载地址： http://download.csdn.net/detail/lsshlsw/7983541
转载
2014-09-28 08:28:00
69阅读
2评论
一、什么是scala scala 是基于JVMde 编程语言。JAVA是运行在jvm上的编程语言，java 源代码通过jvm被编译成class 文件，然后在os上运行class 文件。scala是运行在jvm 上的编程语言，scala源代码通过jvm被编译成class文件，然后在os上运行class文件。 二语法： 1.声明值和变量 var a =12 // 定义变量 vary val b...
原创
2021-07-29 10:50:00
208阅读
Spark之Scala文章目录Spark之Scala什么是Scala:Scala简介Scala的特点是什么：Scala的运行方式：介绍三种Scala代码编译 执行的方式：**2.** **通过控制台进行编译及执行****scala****文件****3.** **在****IDEA****开发工具中运行**什么是Scala:Scala
原创
2022-11-13 16:55:15
246阅读
Martin Odersky于2004年1月首先开发了通用编程语言Scala。我们可以与Java一起使用Scala。Scala转换为Java字节码并使用Java虚拟机。该名称源自可扩展性，可以随用户需求而增长。Sun Microsystems中的James Gosling于1995年5月开发了Java语言。Java是James在喝咖啡的同时给它的名字。Java是1995年排名前十的最佳产品之一。通
转载
2023-08-14 13:11:57
62阅读
spark的java和scala混合工程构建记录！今天就跟这个赶上了，各种办法，各种百度。一、maven手动构建1、dos命令下，进入目录，构建一个scala模板的工程mvn archetype:generate -DarchetypeGroupId=org.scala-tools.archetypes -DarchetypeArtifactId=scala-archetype-simple -D
原创
2016-10-04 22:43:56
2364阅读
前段时间搞了一阵spark scala，处理一个APP大半年的日志。本意是将日志格式化，挖掘其中有用的信息，尽管后来变成了数据统计。但这段时间确实学习了spark scala，知道了这么一个大数据处理工具。本文将一些基本用法记下来。个人体会，spark是相对于MapReduce更高层次的抽象。使用MapReduce时，需要将每个任务拆分成Map和Reduce过程，在处理连续任务时，整个流程比较复杂
转载
2024-07-02 07:27:52
39阅读
文章目录累加器广播变量基于分区操作与外部程序的管道RDD的操作累加器共享变量，
原创
2022-12-03 00:07:42
183阅读
安装首先去官网下载Spark。注意Spark和Hadoop之间版本对应关系，我自己装的Hadoop 2.7.5版本，按照下面方式下载即可。 下载完成后，解压安装包至路径/usr/localtar -zxf ./spark-2.3.0-bin-hadoop2.7.tgz -C /usr/local/
cd /usr/local
sudo mv ./spark-2.3.0-bin-hadoop/ .
转载
2023-12-07 06:37:10
26阅读
文章目录简介连接Spark SQL使用Spark SQL基本查询SchemaRDD读取和存储数据ParquetJS
原创
2022-12-03 00:07:33
250阅读
1024快乐！！！基本以下基于spark-shellscala> val lines = sc.textFile("file:///home/hadoop
原创
2022-12-04 07:38:34
93阅读
学习感悟（1）配置环境最费劲（2）动手写，动手写，动手写WordCountpackage wordcountimport org.apache.spark.{SparkConf, SparkContext}/** * @author CBeann * @create 2019-08-10 18:02 */object WordCount { def main(args: Array[Str
原创
2022-09-13 11:44:57
145阅读
java.lang.Long is not a valid external type for schema of string java.lang.RuntimeException: Error while encoding: java.lang.RuntimeException: java.la
转载
2017-09-26 22:34:00
383阅读
2评论
Spark内核是由Scala语言开发的，因此使用Scala语言开发Spark应用程序是自然而然的事情。如果你对Scala语言还不太
转载
2022-12-27 21:52:15
208阅读
看spark和scala版本运行spark-shellWelcome to____ __/ __/__ ___ _____/ /___\ \/ _ \/ _ `/ __/ '_//___/ .__/\_,_/_/ /_/\_\ version 1
原创
2023-05-17 11:50:46
228阅读
