mtj66的博客_spark

欢迎

spark on yarn作业运行的jar包缓存优化

这几天一直在追查spark on yarn的作业运行中的jar包分发，以及执行后的jar包删除的问题。从一开始的毫无头绪，到后来逐渐清晰，到后来通过hadoop的两个很简单的参数配置解决了问题。不得不说，虽然问题不大，对某些大牛们来说也真是小case，但是追查问题，定位问题到最终解决问题的过程，对我来说真是很不错的体验和学习过程。下面详细描述一下遇到的问题

spark

jar包

hdfs

转载 2022-01-04 17:56:24 1370 阅读

WARN zookeeper.RecoverableZooKeeper: Unable to create ZooKeeper Connection

在提交spark作業的時候遇到的问题。16/07/13 17:08:24 WARN zookeeper.RecoverableZooKeeper: Unable to create ZooKeeper Connection java.net.UnknownHostException: 10.24.62.184 at org.apache.spark.deploy.SparkSubmit.main

sparksubmit

zookeeper

spark

.net

原创 2022-01-04 17:53:12 556 阅读

dataFrame操作

spark dataframe派生于RDD类，但是提供了非常强大的数据操作功能。当然主要对类SQL的支持。在实际工作中会遇到这样的情况，主要是会进行两个数据集的筛选、合并，重新入库。首先加载数据集，然后在提取数据集的前几行过程中，才找到limit的函数。而合并就用到union函数，重新入库，就是registerTemple注册成表，再进行写入到HIVE中。不得不赞叹dataframe的强

spark

sql

字段

scala

转载 2022-01-04 17:47:05 482 阅读

SchedulerBackend is ready for scheduling beginning after waiting maxRegisteredResourcesWaitingTime

INFO YarnClientSchedulerBackend: SchedulerBackend is ready for scheduling beginning after waiting maxRegisteredResourcesWaitingTime: 30000(ms) Exception in thread “main” java.lang.IllegalStateExceptio

spark

apache

scala

转载 2022-01-04 17:10:28 127 阅读

java.lang.NoClassDefFoundError: org/apache/hadoop/hbase/HBaseConfiguration

用sbt打包Spark程序，并未将所有依赖都打入包中，把Spark应用放到集群中运行时，出现异常：Exception in thread “main” java.lang.NoClassDefFoundError: org/apache/hadoop/hbase/HBaseConfiguration at SparkHbase.main(SparkHbase.scala:34)at

spark

scala

apache

转载 2022-01-04 17:05:35 1568 阅读

dataFrame selectExpr 使用示例

使用udf函数别名添加一列值 var df_score = df_poi.selectExpr("*", "get_score(speed_up,speed_down,highspeed_count,start_time,end_time,avg_speed) as SCORE ");添加一列df_score.withColumn(colName, col)

sql

hive

原创 2022-01-04 16:45:45 88 阅读

Spark-Streaming checkpoint的原理

本文以KafkaDirectDStream方式为例说明Spark-Streaming checkpoint的原理 JobGenrerator.generateJobs负责Streaming Job的产生，产生并且提交执行Job之后，会发送DoCheckpoint事件，源码如下：从上面代码可知道，每次产生Streaming Job都会触发Checkpoint的执行 Jo

spark

java

kafka

转载 2022-01-04 15:49:06 651 阅读

决定Spark RDD分区算法因素的总结

RDD在调用引起Shuffle的方法的时候，如果没有显示指定ShuffledRDD的分区，那么会调用Partitioner.defaultPartitioner方法来确定ShuffledRDD的分区，比如RDD.combineByKey: [java] view plain copy def combineByKey[C](createCom

java

spark

数据

转载 2022-01-04 15:33:03 90 阅读

SparkSql Data Sources（数据源）

Spark SQL Spark SQL是支持在Spark中使用Sql、HiveSql、Scala中的关系型查询表达式。它的核心组件是一个新增的RDD类型SchemaRDD，它把行对象用一个Schema来描述行里面的所有列的数据类型，它就像是关系型数据库里面的一张表。它可以从原有的RDD创建，也可以是Parquet文件，最重要的是它可以支持用HiveQL从hive里面读取数据。下面是一些案

sql

spark

hive

转载 2022-01-04 15:18:59 110 阅读

Hadoop YARN新特性—label based scheduling

hadoop

spark

调度策略

转载 2022-01-04 15:18:33 479 阅读

reduceByKey和groupByKey区别与用法

在spark中，我们知道一切的操作都是基于RDD的。在使用中，RDD有一种非常特殊也是非常实用的format——pair RDD，即RDD的每一行是（key, value）的格式。这种格式很像Python的字典类型，便于针对key进行一些处理。针对pair RDD这样的特殊形式，spark中定义了许多方便的操作，今天主要介绍一下reduceByKey和groupByKey，因为在接下来讲解《在

spark

python

数据

转载 2022-01-04 14:02:20 552 阅读

Tuning Java Garbage Collection for Apache Spark Applications

一篇非常精彩的spark JVM调优，转载记录下，一路英文，还是比较通俗易懂的。CMS 适合线上的任务，比如hbase，parallel gc 适合离线任务G1GC 取代CMS GC 所生 Tuning Java Garbage Collection for Apache Spark Applications by Daoyuan Wang and Jie Huang

java

jvm

spark

sed

转载 2022-01-04 13:36:04 199 阅读

Building online HBase cluster of Zhihu based on Kubernetes

Building online HBase cluster of Zhihu based on Kubernetes 采用 Kubernetes 进行hbase部署，扩展性大大增强。https://www.slideshare.net/HBaseCon?utm_campaign=profiletracking&utm_medium=sssite&utm_source=sssl

javascript

ide

sed

原创 2022-01-04 11:22:13 84 阅读

定时任务之不明显的错误导致任务失败

exception ： hdfs file not find Caused by: org.apache.hadoop.ipc.RemoteException(java.io.FileNotFoundException): File does not exist: /user/hive/warehouse/cproject.db/cplatform_map_today/part-00176 但

定时任务

hdfs

文件查找

原创 2022-01-04 11:11:52 534 阅读

sql优化之一次from查询多次insert into操作

优化点:一次map多个reduce,有效节省了map操作.本脚本目的:实现表字段空值率统计流程:1.获取表结构2,通过excel或者是notepad进行批量转换,3,将语句格式化成如下的from insert 语句,然后执行就OK了.4,每个insert语句后面可以跟where语句create table if not exists tmp_null_static (...

字段

sql

表结构

mysql

原创 2021-12-31 16:39:23 466 阅读

scala.collection.mutable.WrappedArray$ofRef cannot be cast to Array[Double] at

Caused by: java.lang.ClassCastException: scala.collection.mutable.WrappedArray$ofRef cannot be cast to [D at com.zhongan.bigdatalab.utils.DataProcessUtils$$anonfun$processMNGroupStatic$1.apply(Dat...

scala

数据类型

java

mysql

原创 2021-12-31 16:19:02 741 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客