Stitch_x的博客_spark

为什么我们生产上要选择Spark On Yarn模式？

生产中使用yarn模式的好处

Spark

Yarn

原创 2019-07-01 08:17:59 2696 阅读 2点赞

Spark Streaming反压机制探秘

Spark Streaming 生产环境必开——反压机制

Spark

Spark Streaming

原创 2019-06-28 16:22:47 7980 阅读 1点赞 1评论

RDD血缘关系源码详解！

RDD五大特性之一：血缘关系

RDD

血缘

Spark

Spark Core

原创 2019-06-26 23:30:13 1701 阅读

生产常用Spark累加器剖析之四

累加器存在的坑，以及生产上的案例

Spark

原创 2019-06-26 21:59:44 605 阅读

生产常用Spark累加器剖析之三(自定义累加器)

Spark自定义累加器

Spark

原创 2019-06-26 21:57:40 694 阅读

生产常用Spark累加器剖析之二

累加器执行流程

Spark

原创 2019-06-26 21:55:56 622 阅读

生产常用Spark累加器剖析之一

由于最近在项目中需要用到Spark的累加器，同时需要自己去自定义实现Spark的累加器，从而满足生产上的需求。对此，对Spark的累加器实现机制进行了追踪学习

Spark

Accumulators

原创 2019-06-24 08:51:03 1522 阅读

Spark中Cache与Persist的巅峰对决

spark开发必备知识———persist与cache的区别

spark

原创 2019-06-24 08:39:47 1152 阅读

Spark SQL读取MySQL的dept和hive的emp表，做join和分组查询，后写到json

灵活使用spark强大的外部数据源功能，本文包括json、mysql、hive三种外部数据源

Spark

Spark SQL

Hive

MySQL

原创 2019-06-22 09:37:35 1805 阅读

生产SparkStreaming数据零丢失最佳实践(含代码)

生产上保证数据零丢失(断批还原)

Spark

Spark Streaming

原创推荐 2019-06-22 09:14:33 8729 阅读 5点赞 3收藏 2评论

Spark SQL常见4种数据源(详细)

企业spark开发中必须要会的四种常见数据源

Spark SQL

Spark

原创精选 2019-06-21 10:35:26 8792 阅读

kafka broker Leader -1引起spark Streaming不能消费已解决

Kafka生产集群中有一台机器cdh-003由于物理故障原因挂掉了，并且系统起不来了，使得线上的spark Streaming实时任务不能正常消费，重启实时任务都不行。内含解决方法

Kafka

Spark

Spark Streaming

原创 2019-06-21 10:22:29 3395 阅读 1点赞

Spark RDD转换成DataFrame的两种方式

RDD转变为DataFrame的两种方法

SparkSQL

Spark

原创精选 2019-05-30 12:07:22 10000+阅读 1收藏

Spark SQL 测试JoinType中所有join的类型，便于理解

准备测试数据trade订单号卖家买家买家城市1A小王北京2B小李天津3A小刘北京order所属订单号买家商品名称价格发货时间1小王电视122015-08-0109:08:311小王冰箱242015-08-0109:08:142小李空调122015-09-0209:01:31注:皆以\t分割创建DFdefmain(args:Array[String]):Unit={valspark=SparkSes

Spark

原创 2019-05-25 21:51:48 4728 阅读

Spark SQL 使用beeline访问hive仓库

spark-beeline的配置，及基本的使用方法

Spark

原创 2019-05-21 23:48:58 7788 阅读

Spark SQL 报错总结

解决SparkSQL部分报错一、Caused by: org.datanucleus.store.rdbms.connectionpool.DatastoreDriverNotFoundException: The specified datastore driver ("com.mysql.jdbc.Driver") was not found in the CLASSPATH. Please check your CLASSPATH specification, and the name of the driver. 二、Caused by: java.sql.SQLException: No suitable driver found for jdbc:mysql://192.168.1.201:3306/hiveDB?createDatabaseIfNotExist=true

Spark

原创 2019-05-21 21:36:31 8839 阅读

Spark 调优之RDD持久化级别及kryo序列化性能测试

RDD的持久化是spark优化中必须掌握的，并且，在内存不足的情况下，我们可以将持久化类型选择为MEMORY_ONLY_SER，减少内存的占用，持久化更多的partition，并且不同的序列化方法也会影响序列化性能。下面，我们就来测试下，持久化级别和序列化方法的选择对RDD持久化大小的影响。

Spark

原创 2019-05-19 20:06:44 2306 阅读

Spark transformation算子之coalesce&&repartition

详细讲解RDD中两个关于重新分区的算子coalesce和repartition~

Spark

RDD

原创 2019-05-17 17:29:56 2611 阅读

运行在YARN上的Spark程序的Executor，Cores和Memory的分配

–num-executors, --executor-cores and --executor-memory…这三个参数在spark性能中扮演很重要的角色，他们控制这你的spark程序获得的CPU和内存的资源。对于用户来说，很有必要理解如何去配置它们。

Spark

YARN

转载 2019-05-17 15:01:43 2490 阅读

Spark 报错解决--Error initializing SparkContext

解决报错Error initializing SparkContext. org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.ipc.StandbyException): Operation category READ is not supported in state standby.

Spark

Hadoop

原创 2019-05-14 18:36:24 10000+阅读

Spark系列文章-Spark作业监控

开启Spark任务监控

Spark

作业监控

原创 2019-05-14 14:20:11 1743 阅读

spark-2.4.2.tgz下载及编译

从零手把手编译spark2.4.2！+hadoop-2.6.0-cdh5.14.0

Spark

编译

原创 2019-04-29 01:32:15 1880 阅读 2点赞

Linux填坑-由于Windows导致虚拟机 ping不通解决方法

虚拟机ping不通最终解决方法为打开 windows VMware NAT Service服务

Linux

Vmware

Windows

ping

原创 2019-04-28 12:27:01 1601 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

沧浪之水

为什么我们生产上要选择Spark On Yarn模式？

Spark Streaming反压机制探秘

RDD血缘关系源码详解！

生产常用Spark累加器剖析之四

生产常用Spark累加器剖析之三(自定义累加器)

生产常用Spark累加器剖析之二

生产常用Spark累加器剖析之一

Spark中Cache与Persist的巅峰对决

Spark SQL读取MySQL的dept和hive的emp表，做join和分组查询，后写到json

生产SparkStreaming数据零丢失最佳实践(含代码)

Spark SQL常见4种数据源(详细)

kafka broker Leader -1引起spark Streaming不能消费已解决

Spark RDD转换成DataFrame的两种方式

Spark SQL 测试JoinType中所有join的类型，便于理解

Spark SQL 使用beeline访问hive仓库

Spark SQL 报错总结

Spark 调优之RDD持久化级别及kryo序列化性能测试

Spark transformation算子之coalesce&&repartition

运行在YARN上的Spark程序的Executor，Cores和Memory的分配

Spark 报错解决--Error initializing SparkContext

Spark系列文章-Spark作业监控

spark-2.4.2.tgz下载及编译

Linux填坑-由于Windows导致虚拟机 ping不通解决方法