KeepLearningAI的博客_spark

Spark入门学习记录之SparkLearning

为了更好的学习spark，也为了记录自己学习过程中的遇到的各种问题，方便以后

Spark入门学习记

学习记录

SparkLearn

spark

数据

原创 2023-01-04 11:37:50 93 阅读

Spark学习17之使用IDEA对Spark 1.5.2进行本地编译和调试(成功)

1.需要安装： jdk1.7 scala2.10.4 maven 3.3..9 idea 15.042.下载spark1.5.2源码 https://github.com/apache/spark 进

spark

idea

scala

maven

原创 2023-01-04 11:13:19 912 阅读

Spark组件之SparkR学习3--使用spark-submit向集群提交R代码文件data-manipulation.R

1.数据准备：1.1 下载数据文件wget http://s3-us-west-2.amazonaws.com/sparkr-data/flights.cs

Spark组件之SparkR学习3--使

spark

hadoop

ci

原创 2023-01-04 11:09:22 96 阅读

Spark组件之SparkR学习2--使用spark-submit向集群提交R代码文件dataframe.R

环境：spark1.5.2，R-3.2.11.examples1 dataframe.R 1.1 文件来源：参考【1】./bin/

Spark组件之SparkR学习2--使

spark

apache

scala

原创 2023-01-04 11:09:00 94 阅读

Spark生态之Spark-csv学习1之安装和简单的examples

1.安装：（1） Spark-shell：$SPARK_HOME/bin/spark-shell --packages com.databricks:spark-csv_2.10:1.4.0直接运行就进入了shell（2）e

Spark-csv学习1之安装和简单的e

spark

apache

sql

原创 2023-01-04 11:07:54 84 阅读

Spark组件之SparkR学习1--安装与测试

环境：ubuntu：Spark 1.5.2（已装）、R3.2.1Window： Rstudio1Ubuntu下配置1.1.R安装：Spark安装后直接启动SparkR会报错，R找不到，故需要装R1.1.1R下载：https://cran.r-project.org/src/base/R-3/或者：https://cran.rstudio.com/src/base/R-3/1.1.

Spark组件之SparkR安装与测试

spark

sql

hadoop

原创 2023-01-04 11:07:31 142 阅读

Spark疑问2之spark 丢了executor会恢复吗？

Met

Spark疑问2之spark 丢了exe

spark

ci

github

原创 2023-01-04 11:07:14 62 阅读

Spark疑问1之如何查看sparkContext没有关闭的sc

Spark疑问1之如何查看sparkContext没有关闭的在跑完spark程序后有时会忘记执行sc.stophadoop@Master:~/cloud/test

Spark疑问1之如何查看sparkCo

spark

github

hadoop

原创 2023-01-04 11:07:09 55 阅读

Spark组件之GraphX学习8--随机图生成和TopK最大入度

随机图生成和TopK最大入度

spark

apache

Graph

原创 2023-01-04 11:06:50 43 阅读

Spark组件之GraphX学习1--入门实例Property Graph

Spark组件之GraphX学习1--入

spark

apache

github

原创 2023-01-04 11:06:42 51 阅读

Spark组件之GraphX学习3--Structural Operators：subgraph

更多代码请见

Spark组件之GraphX学习3--S

Graph

spark

apache

原创 2023-01-04 11:06:35 14 阅读

Spark组件之GraphX学习4--Structural Operators：mask

Spark组件之GraphX学习4--S

spark

apache

Graph

原创 2023-01-04 11:06:00 38 阅读

Spark组件之GraphX学习9--使用pregel函数求单源最短路径

使用pregel函数求单源最短路径

spark

apache

Graph

原创 2023-01-04 11:05:56 264 阅读

Spark组件之GraphX学习8--邻居集合

邻居集合

spark

apache

Graph

原创 2023-01-04 11:05:42 56 阅读

Spark组件之GraphX学习7--随机图生成和reduce最大或最小出度/入度/度

reduce最大或最小出度入度度

spark

apache

Graph

原创 2023-01-04 11:05:38 60 阅读

Spark组件之GraphX学习12--GraphX常见操作汇总SimpleGraphX

GraphX常见操作汇总SimpleGr

ide

apache

spark

原创 2023-01-04 11:05:00 85 阅读

Spark组件之GraphX学习11--PageRank例子（PageRankAboutBerkeleyWiki）

PageRank例子PageRankAb

apache

spark

github

原创 2023-01-04 11:04:51 75 阅读

Spark组件之GraphX学习13--ConnectedComponents操作

ConnectedComponents操

spark

apache

Graph

原创 2023-01-04 11:04:42 49 阅读

Spark2学习2之window下编译spark-2.0.0

spark

2-0-0

jar

kafka

原创 2023-01-04 11:03:46 141 阅读

Spark学习16之Spark 2.0.0-preview编译安装

1.下载：（1）gitgit clone https://github.com/apache/spark.git查看版本：git tag选择版本：git checkout Version(自己指定

spark

2-0-0-prev

preview

scala

apache

原创 2023-01-04 11:03:03 116 阅读

spark学习11之在idea中将eclipse导入的java project改成maven project

方法：项目上右键 Add Framework Support，选择maven

spark

maven

右键

原创 2023-01-04 11:01:49 66 阅读

Spark组件之GraphX学习20--待学习部分

1.Spark examples中自带的三个例子实践LiveJournalPageRank.scalaAnalytics.scalaSynthBenchmark.scala在《深入理解Spark核心思想和源码分析》这本书的10.9有讲到LiveJournalPageRank.scala，里面的数据下载比较慢，而且本地跑会比较慢，故之后有时间学习2.《Spark高级数据分析》

Spark组件之GraphX学习20--

scala

数据分析

数据

原创 2023-01-04 11:01:15 68 阅读

spark学习8之eclipse安装scala2.10和spark编译环境并上传到集群运行

eclipse安装scala和spark编译环境并上传到集群运行本地环境：Window+eclipse4.3.

eclipse

scala

spark

原创 2023-01-04 11:00:25 83 阅读

spark学习1之examples运行

spark的examples运行：spark1.4.11. spark-submit：hadoop@Master:~/cloud/spark-1.4.1$ spark

spark

apache

python

原创 2023-01-04 11:00:12 56 阅读

spark学习2之OutOfMemoryError错误的解决办法

spark之OutOfMemoryError错误的解决办法：xubo@xubo:~/cloud/spark-1.4.1$ spark-subm

spark

outofmemoryerror

java

python

原创 2023-01-04 10:59:59 298 阅读

Spark组件之SparkR学习4--Eclipse下R语言环境搭建

1.下载R地址：eclipse下http://download.walware.de/eclipse-4.3/Learning R这本书上第5页

Spark组件之SparkR学习4--E

java

spark

eclipse

原创 2023-01-04 10:58:46 204 阅读

Spark疑问3之spark 如何并行执行多个Job？

使用Spark的时候一般都是一个application的Job串行执行，如何并行执行？如何提高spar

spark

疑问

并行执行

数据

原创 2023-01-04 10:58:43 135 阅读

Spark组件之SparkR学习5--R语言函数调用（跨文件调用）

环境：RStudioR-3.2.1Spark组件之SparkR学习5--R语言函数调用（跨文件调用）1.在文件夹func

Spark组件之SparkR学习5--R

函数调用

github

文件路径

原创 2023-01-04 10:58:41 48 阅读

Spark疑问4之Idea中project中的module如何将File路径设置为当前module路径而不是project路径？

Spark疑问4之Idea中project中的module如何将File路径设置为当前module

spark

maven

原创 2023-01-04 10:58:40 66 阅读

spark学习13之RDD的partitions数目获取

spark

scala

github

原创 2023-01-04 10:58:25 153 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

wx5b15dc681e528的博客

Spark入门学习记录之SparkLearning

Spark学习17之使用IDEA对Spark 1.5.2进行本地编译和调试(成功)

Spark组件之SparkR学习3--使用spark-submit向集群提交R代码文件data-manipulation.R

Spark组件之SparkR学习2--使用spark-submit向集群提交R代码文件dataframe.R

Spark生态之Spark-csv学习1之安装和简单的examples

Spark组件之SparkR学习1--安装与测试

Spark疑问2之spark 丢了executor会恢复吗？

Spark疑问1之如何查看sparkContext没有关闭的sc

Spark组件之GraphX学习8--随机图生成和TopK最大入度

Spark组件之GraphX学习1--入门实例Property Graph

Spark组件之GraphX学习3--Structural Operators：subgraph

Spark组件之GraphX学习4--Structural Operators：mask

Spark组件之GraphX学习9--使用pregel函数求单源最短路径

Spark组件之GraphX学习8--邻居集合

Spark组件之GraphX学习7--随机图生成和reduce最大或最小出度/入度/度

Spark组件之GraphX学习12--GraphX常见操作汇总SimpleGraphX

Spark组件之GraphX学习11--PageRank例子（PageRankAboutBerkeleyWiki）

Spark组件之GraphX学习13--ConnectedComponents操作

Spark2学习2之window下编译spark-2.0.0

Spark学习16之Spark 2.0.0-preview编译安装

spark学习11之在idea中将eclipse导入的java project改成maven project

Spark组件之GraphX学习20--待学习部分

spark学习8之eclipse安装scala2.10和spark编译环境并上传到集群运行

spark学习1之examples运行

spark学习2之OutOfMemoryError错误的解决办法

Spark组件之SparkR学习4--Eclipse下R语言环境搭建

Spark疑问3之spark 如何并行执行多个Job？

Spark组件之SparkR学习5--R语言函数调用（跨文件调用）

Spark疑问4之Idea中project中的module如何将File路径设置为当前module路径而不是project路径？

spark学习13之RDD的partitions数目获取