引入jar包<redis.version>3.7.0</redis.version>
<dependency>
<groupId>redis.clients</groupId>
<artifactId>jedis</artifactId>
<version>${r
转载
2023-05-30 21:51:40
150阅读
IO： package scala import java.io.{BufferedReader, BufferedWriter, FileReader, FileWriter} import scala.io.{BufferedSource, Source} object Demo7IO { de ...
转载
2021-07-13 15:04:00
83阅读
2评论
实战Scala & Spark (1) http://blog.csdn.net/sinat_20069255/article/details/49282921
原创
2015-10-22 00:23:56
600阅读
写了点scala的内容，方便看spark源码，估计一两天就能看完，内容比较粗浅。 下载地址： http://download.csdn.net/detail/lsshlsw/7983541
转载
2014-09-28 08:28:00
85阅读
2评论
写了点scala的内容，方便看spark源码，估计一两天就能看完，内容比较粗浅。 下载地址： http://download.csdn.net/detail/lsshlsw/7983541
转载
2014-09-28 08:28:00
69阅读
2评论
scala> val jd = spark.read.format("jdbc").option("url","jdbc:oracle:thin:@192.168.163.134:1521:orcl").option("dn("user","scott").option("password&
Using Scala with JDBC to connect to MySQL
Jun 26 2010
A quick howto on connecting Scala to a MySQL database using JDBC. There are a number of database libraries for Scala, but I ran into a problem g
转载
2011-03-15 06:39:20
695阅读
一、什么是scala scala 是基于JVMde 编程语言。JAVA是运行在jvm上的编程语言，java 源代码通过jvm被编译成class 文件，然后在os上运行class 文件。scala是运行在jvm 上的编程语言，scala源代码通过jvm被编译成class文件，然后在os上运行class文件。 二语法： 1.声明值和变量 var a =12 // 定义变量 vary val b...
原创
2021-07-29 10:50:00
208阅读
增加scala插件
原创
2022-09-05 16:28:17
100阅读
Spark之Scala文章目录Spark之Scala什么是Scala:Scala简介Scala的特点是什么：Scala的运行方式：介绍三种Scala代码编译 执行的方式：**2.** **通过控制台进行编译及执行****scala****文件****3.** **在****IDEA****开发工具中运行**什么是Scala:Scala
原创
2022-11-13 16:55:15
246阅读
Spark 是一种与 Hadoop 相似的开源集群计算环境，但是两者之间还存在一些不同之处，这些有用的不同之处使 Spark 在某些工作负载方面表现得更加优越，换句话说，Spark 启用了内存分布数据集，除了能够提供交互式查询外，它还可以优化迭代工作负载。 Spark 是在 Scala 语言中实现的，它将 Scala 用作其应用程序框架。与 Hadoop 不同，
转载
2023-05-22 22:58:58
627阅读
前段时间搞了一阵spark scala，处理一个APP大半年的日志。本意是将日志格式化，挖掘其中有用的信息，尽管后来变成了数据统计。但这段时间确实学习了spark scala，知道了这么一个大数据处理工具。本文将一些基本用法记下来。个人体会，spark是相对于MapReduce更高层次的抽象。使用MapReduce时，需要将每个任务拆分成Map和Reduce过程，在处理连续任务时，整个流程比较复杂
转载
2024-07-02 07:27:52
39阅读
Spark SQL可以通过JDBC从关系型数据库中读取数据的方式创建DataFrame，通过对DataFrame一系列的计算后，还可以将数据再写回关系型数据库中。1.从MySQL中加载数据（Spark Shell方式）1.启动Spark Shell，必须指定mysql连接驱动jar包/usr/local/spark-1.5.2-bin-hadoop2.6/bin/spark-shell \...
原创
2021-07-07 10:47:01
435阅读
Spark SQL可以通过JDBC从关系型数据库中读取数据的方式创建DataFrame，通过对DataFrame一系列的计算后，还可以将数据再写回关系型数据库中。1.从MySQL中加载数据（Spark Shell方式）1.启动Spark Shell，必须指定mysql连接驱动jar包/usr/local/spark-1.5.2-bin-hadoop2.6/bin/spark-shell \...
原创
2022-03-24 09:46:16
192阅读
文章目录累加器广播变量基于分区操作与外部程序的管道RDD的操作累加器共享变量，
原创
2022-12-03 00:07:42
183阅读
安装首先去官网下载Spark。注意Spark和Hadoop之间版本对应关系，我自己装的Hadoop 2.7.5版本，按照下面方式下载即可。 下载完成后，解压安装包至路径/usr/localtar -zxf ./spark-2.3.0-bin-hadoop2.7.tgz -C /usr/local/
cd /usr/local
sudo mv ./spark-2.3.0-bin-hadoop/ .
转载
2023-12-07 06:37:10
26阅读
文章目录简介连接Spark SQL使用Spark SQL基本查询SchemaRDD读取和存储数据ParquetJS
原创
2022-12-03 00:07:33
250阅读
1、下载 sparkhttp://mirrors.cnnic.cn/apache/spark/spark-1.3.0/spark-1.3.0-bin-hadoop2.3.tgz2、下载scalahttp://www.scala-lang.org/download/2.10.5.html3、安装scalamkdir /usr/lib/scalatar –zxvf scala-2.10.5.tgzmv
原创
2015-06-23 17:33:32
587阅读
点赞
1024快乐！！！基本以下基于spark-shellscala> val lines = sc.textFile("file:///home/hadoop
原创
2022-12-04 07:38:34
93阅读
学习感悟（1）配置环境最费劲（2）动手写，动手写，动手写WordCountpackage wordcountimport org.apache.spark.{SparkConf, SparkContext}/** * @author CBeann * @create 2019-08-10 18:02 */object WordCount { def main(args: Array[Str
原创
2022-09-13 11:44:57
145阅读
