咔咔是咖咖的博客_spark

Spark 常用配置项与优化配置项

Spark 常用配置项与优化配置项1、配置加载顺序：SparkConf方式 > 命令行参数方式 >文件配置方式。应用程序SparkConf 优先

spark

SPARK

hadoop

转载 2023-07-07 19:48:25 781 阅读

Apache Spark Jobs 性能调优（二）

YARN）需要关心的两项主要的资源是 CPU 和内存，磁盘和 IO 当然也影响着 Spark 的性能，但是不管是 Spark 还是 Yarn 目前都没法对他们做实时有效的管理。在一个 Spark 应用中，每个 Spark executor 拥有固定个数的 core 以及固定大小的堆大小。core 的个数可以在执行 spark-submit 或者 pyspark 或者

spark

配置项

动态分配

转载 2023-05-12 21:12:49 63 阅读

Spark 快速入门(中文译文)

原文:https://spark.apache.org/docs/latest/quick-start.html 译文:http://colobu.com/2014/12/08/spark-quick-start

spark

apache

html

原创 2023-05-10 22:20:19 55 阅读

spark-submit的参数files

–files FILES 用逗号隔开的要放置在每个executor工作目录的文件列表

文件列表

原创 2023-05-07 11:50:05 112 阅读

Spark On YARN 集群安装部署

http://wuchong.me/blog/2015/04/04/spark-on-yarn-cluster-deploy/

spark

转载 2023-05-07 11:43:31 89 阅读

No configuration setting found for key 'akka.version'

http://stackoverflow.com/questions/31011243/no-configuration-setting-found-for-key-akka-version

其它

转载 2023-05-07 11:43:16 75 阅读

spark stream JavaKafkaWordCount

aWordCount.java

apache

java

spark

转载 2023-05-07 11:39:24 59 阅读

安装ClusterShell集群管理工具

正常的情况下使用yum install clustershell就可以了.如果不行,就要从源代码安装:参考http://huoding.com/2011/11/12/133在安装的过程中可能会遇到 ImportError: No module named setuptools 错误,参考http://www.pythontab.com/html/2012/pythongaoji_1220

html

python

原创 2023-05-07 10:54:27 62 阅读

error: object kafka is not a member of package org.apache.spark.streaming

参考 https://forums.databricks.com/questions/7994/error-import-orgapachesparkstreamingkafka.htmlAdd the JARs..if you are using spark 1.6.1 ..try below dependency org.apache.spark spark-streaming-kafka

spark

apache

kafka

原创 2023-05-07 10:49:40 399 阅读

Spark+Kafka的Direct方式将偏移量发送到Zookeeper实现

http://www.iteblog.com/archives/1381

hive

转载 2023-04-14 14:06:23 16 阅读

Spark Streaming的入门介绍

n-summary/ 介绍的很好。

spark

kafka

原创 2023-04-14 13:56:57 71 阅读

用人话解释机器学习中的Logistic Regression（逻辑回归）

这是我见过的最容易看懂的介绍逻辑回归的文章。对于其他很多介绍机器学习的文章，我表示看不懂，专业术语太多，专业性太强（其实本来想说，我甚鄙视之，但是想想算了，他们又不是写给小白看的）。差点忘了放上链接了。 http://www.codelast.com/%E5%8E%9F%E5%88%9B-%E7%94%A8%E4%BA%BA%E8%AF%9D%E8%A7%A3%E9%87%8A%E6%9C%BA%

机器学习

EF

原创 2023-04-14 10:34:46 80 阅读

spark 自定义partitioner

package inpvimport org.apache.spark.Partitionerclass PvPartitioner(numParts: Int) extends Partitioner { override def numPartitions: Int = numParts override def getPartition(key: Any): Int = {

ide

apache

Boo

原创 2023-04-14 10:33:41 86 阅读

Spark Standalone Mode

其它

原创 2023-04-12 02:36:38 66 阅读

Windows下基于eclipse的Spark应用开发环境搭建

上边的文章介绍的很好,根据自己的需要,做一些修改就可以了,下边是我的代码:import java.util.List; import org.apache.spark.SparkConf; import org.apache.spark.api.java.JavaRDD; import org.apache.spark.api.java.JavaSparkContext; /**

spark

System

java

转载 2023-04-12 02:36:23 119 阅读

spark读取配置文件中的配置

spark提交方式如下/usr/bigdata/spark-1.6.0-bin-hadoop2.6/bin/spark-submit \--class in.appcook.test.TestSpark \--master yarn \--deploy-mode cluster \--executor-memory 2G \--num-executors 2 \--files /data

kafka

spark

jar

原创 2023-04-12 02:08:05 1307 阅读

spark stream冷启动处理kafka中积压的数据

因为首次启动JOB的时候，由于冷启动会造成内存使用太大，为了防止

spark

jar

hadoop

原创 2023-04-11 20:40:28 107 阅读

spark读取hdfs文件的路径使用正则表达式

spark.read.json("/flume/product/160/raw1/2017/05/23/*[1-9]")读取文件,文件以数字结尾.

读取文件

spark

json

原创 2023-04-11 20:39:40 178 阅读

Spark中的一些概念

一次action操作会触发RDD的延迟计算，我们把这样的一次计算称作一个Job。窄依

延迟计算

原创 2023-04-11 20:39:33 62 阅读

spark stream上创建对象实例

kafkaStream.foreachRDD { rdd => rdd.foreachPartition { partition =>

kafka

数据

原创 2023-04-11 20:39:13 72 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

mb643546c1aeca2的博客

Spark 常用配置项与优化配置项

Apache Spark Jobs 性能调优（二）

Spark 快速入门(中文译文)

spark-submit的参数files

Spark On YARN 集群安装部署

No configuration setting found for key 'akka.version'

spark stream JavaKafkaWordCount

安装ClusterShell集群管理工具

error: object kafka is not a member of package org.apache.spark.streaming

Spark+Kafka的Direct方式将偏移量发送到Zookeeper实现

Spark Streaming的入门介绍

用人话解释机器学习中的Logistic Regression（逻辑回归）

spark 自定义partitioner

Spark Standalone Mode

Windows下基于eclipse的Spark应用开发环境搭建

spark读取配置文件中的配置

spark stream冷启动处理kafka中积压的数据

spark读取hdfs文件的路径使用正则表达式

Spark中的一些概念

spark stream上创建对象实例