实战Scala & Spark (1) http://blog.csdn.net/sinat_20069255/article/details/49282921
原创
2015-10-22 00:23:56
600阅读
写了点scala的内容，方便看spark源码，估计一两天就能看完，内容比较粗浅。 下载地址： http://download.csdn.net/detail/lsshlsw/7983541
转载
2014-09-28 08:28:00
85阅读
2评论
写了点scala的内容，方便看spark源码，估计一两天就能看完，内容比较粗浅。 下载地址： http://download.csdn.net/detail/lsshlsw/7983541
转载
2014-09-28 08:28:00
69阅读
2评论
hadoop+spark+scala环境--单实例版
原创
2019-04-03 18:00:51
969阅读
Hadoop/spark安装实战（系列篇5） scala安装1/scala 解压缩 [root@localhost setup_tools]# tar -zxvf scala-2.10.4.tgz2将文件移到/usr/local mv scala-2.10.4 /usr/lo
原创
2015-09-12 22:08:40
77阅读
一、什么是scala scala 是基于JVMde 编程语言。JAVA是运行在jvm上的编程语言，java 源代码通过jvm被编译成class 文件，然后在os上运行class 文件。scala是运行在jvm 上的编程语言，scala源代码通过jvm被编译成class文件，然后在os上运行class文件。 二语法： 1.声明值和变量 var a =12 // 定义变量 vary val b...
原创
2021-07-29 10:50:00
208阅读
Spark之Scala文章目录Spark之Scala什么是Scala:Scala简介Scala的特点是什么：Scala的运行方式：介绍三种Scala代码编译 执行的方式：**2.** **通过控制台进行编译及执行****scala****文件****3.** **在****IDEA****开发工具中运行**什么是Scala:Scala
原创
2022-11-13 16:55:15
242阅读
Spark 是一种与 Hadoop 相似的开源集群计算环境，但是两者之间还存在一些不同之处，这些有用的不同之处使 Spark 在某些工作负载方面表现得更加优越，换句话说，Spark 启用了内存分布数据集，除了能够提供交互式查询外，它还可以优化迭代工作负载。 Spark 是在 Scala 语言中实现的，它将 Scala 用作其应用程序框架。与 Hadoop 不同，
转载
2023-05-22 22:58:58
627阅读
前段时间搞了一阵spark scala，处理一个APP大半年的日志。本意是将日志格式化，挖掘其中有用的信息，尽管后来变成了数据统计。但这段时间确实学习了spark scala，知道了这么一个大数据处理工具。本文将一些基本用法记下来。个人体会，spark是相对于MapReduce更高层次的抽象。使用MapReduce时，需要将每个任务拆分成Map和Reduce过程，在处理连续任务时，整个流程比较复杂
转载
2024-07-02 07:27:52
37阅读
文章目录累加器广播变量基于分区操作与外部程序的管道RDD的操作累加器共享变量，
原创
2022-12-03 00:07:42
183阅读
安装首先去官网下载Spark。注意Spark和Hadoop之间版本对应关系，我自己装的Hadoop 2.7.5版本，按照下面方式下载即可。 下载完成后，解压安装包至路径/usr/localtar -zxf ./spark-2.3.0-bin-hadoop2.7.tgz -C /usr/local/
cd /usr/local
sudo mv ./spark-2.3.0-bin-hadoop/ .
转载
2023-12-07 06:37:10
26阅读
文章目录简介连接Spark SQL使用Spark SQL基本查询SchemaRDD读取和存储数据ParquetJS
原创
2022-12-03 00:07:33
250阅读
1、下载 sparkhttp://mirrors.cnnic.cn/apache/spark/spark-1.3.0/spark-1.3.0-bin-hadoop2.3.tgz2、下载scalahttp://www.scala-lang.org/download/2.10.5.html3、安装scalamkdir /usr/lib/scalatar –zxvf scala-2.10.5.tgzmv
原创
2015-06-23 17:33:32
587阅读
点赞
1024快乐！！！基本以下基于spark-shellscala> val lines = sc.textFile("file:///home/hadoop
原创
2022-12-04 07:38:34
93阅读
学习感悟（1）配置环境最费劲（2）动手写，动手写，动手写WordCountpackage wordcountimport org.apache.spark.{SparkConf, SparkContext}/** * @author CBeann * @create 2019-08-10 18:02 */object WordCount { def main(args: Array[Str
原创
2022-09-13 11:44:57
145阅读
Spark框架一、Spark概述1.1 Spark是什么1.2 Spark & Hadoop1.3 Spark / Hadoop（1）Hadoop MapReduce（2） Spark1.4 Spark核心模块 一、Spark概述1.1 Spark是什么Spark是一种基于内存的快速、通用、可扩展的大数据分析计算引擎。1.2 Spark & HadoopSpark与Hadoop的
转载
2023-09-01 11:06:45
75阅读
文章目录Hadoop（伪分布）+ Spark（Local）软件安装及环境配置前言一、安装虚拟机1.下载Ubuntu16.04镜像二、Hadoop安装及配置（伪分布式）1.创建hadoop用户2.更新apt3.安装SSH、配置SSH无密码登陆4.安装Java环境5.安装Hadoop3.1.36.Hadoop伪分布式配置三、安装 Spark2.4.01.下载Spark2.4.02.安装Spark（L
转载
2023-11-18 23:36:04
9阅读
首先Spark是借鉴了mapreduce并在其基础上发展起来的，继承了其分布式计算的优点并改进了mapreduce明显的缺陷。 但是二者也有不少的差异具体如下：ApacheSpark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类HadoopMapReduce的通用并行计算框架，Spark拥有Had
转载
2023-08-01 22:14:37
69阅读
有以下四个不同：1. 解决问题的层面不一样Hadoop和Apache Spark两者都是大数据框架，但是各自存在的目的不尽相同。Hadoop实质上更多是一个分布式数据基础设施: 它将巨大的数据集分派到一个由普通计算机组成的集群中的多个节点进行存储，意味着您不需要购买和维护昂贵的服务器硬件。 同时，Hadoop还会索引和跟踪这些数据，让大数据处理和分析效率达到前所未有的高度。Spark，则是那么一
转载
2023-09-26 15:52:54
48阅读
