1、概述在高层的角度上看，每一个Spark应用都有一个驱动程序（driver program）。驱动程序就是运行用户的main主程序并在集群上执行各种并行操作的程序。Spark中的一个主要的抽象概念就是弹性分布数据集（resilient distributed dataset,RDD），RDD是分布在多个节点构成的集群上的元素的集合，并支持并行操作。RDD可以由Hadoop的分布式文件
转载
2024-01-18 06:06:13
43阅读
7 内存溢出问题
在Spark中使用hql方法执行hive语句时，由于其在查询过程中调用的是Hive的获取元数据信息、SQL解析，并且使用Cglib等进行序列化反序列化，中间可能产生较多的class文件，导致JVM中的持久代使用较多，如果配置不当，可能引起类似于如下的OOM问题：
1. Exception in thread "Thread-2" java
转载
2023-08-29 08:38:07
143阅读
问题一：日志中出现：org.apache.spark.shuffle.MetadataFetchFailedException: Missing an output location for shuffle 0原因分析： shuffle分为shuffle write和shuffle read两部分。 shuffle write的分区数由上一阶段的RDD分区数控制，shuffle read的分区数则
转载
2023-10-27 09:28:07
1586阅读
最近总结一波面试问题(包括python，MySQL，大数据等，一个人力量有限)，有兴趣查看 github1.数据倾斜的产生和解决办法？数据倾斜以为着某一个或者某几个 partition 的数据特别大，导致这几个 partition 上的计算需要耗费相当长的时间。在 spark 中同一个应用程序划分成多个 stage，这些 stage 之间是串行执行的，而一个 stage 里面的多个 ta
转载
2023-10-27 14:21:23
58阅读
首先是环境安装，可参考之前的博客，里面有hadoop和spark环境配置的连接。最好先安装hadoop。使用spark的话hadoop最好还是安装下。一：在spark中运行python代码的问题，真的这个对于经常使用spark的人来说可能是非常简单的问题，但对于我这个急于求成的人来说，真的手足无措。看网上的方法都是使用spark-submit来提交，这样总觉得很烦，如果可以之间在编译器中点击运行按
转载
2023-08-12 14:01:54
95阅读
目前一直在做大数据平台的开发，所以有机会看到全公司的小伙伴们提交spark任务的时候，常见的错误。所以这里列举下遇到的错误以及解决方案，做个记录，以后定期更新：Table or view not found: aaa.bbb这个错误很简单，就是表或者视图没找到。引起这个原因的可能如下：如果你是连接hive中的数据表，程序有没有正确加载hive-site.xml。在你的代码resource里面加上h
转载
2023-09-05 16:21:45
655阅读
最近的一个项目中使用了spark技术过程遇到的一些问题，下面就以问题来分析原因及解决过程。问题1、创建sparkView没有加限制条件，导致创建几十上百万大数据量的view时，多库的情况下在driver创建了 大量的view,就把driver端的内存撑爆了，之前线上没有暴露出来的这个问题原因主要是每一个小时都会处理一次,每次数据量都不大，后面任务有停了几天，数据量突增了很多，这时就出现很多问题
转载
2023-10-18 07:09:55
38阅读
这个异常是很多原本在JB等开发环境中开发的程序员，把JB下的程序包放在WTk下编译经常出现的问题，异常的解释是"指定的类不存在"，这里主要考虑一下类的名称和路径是否正确即可，如果是在JB下做的程序包，一般都是默认加上Package的，所以转到WTK下后要注意把Package的路径加上。
转载
2023-07-27 07:58:13
90阅读
spark-streaming任务提交遇到的坑一、背景 基本所有公司互联网公司都会有离线和实时任务，达到实时的目的手段据个人了解有storm、spark-streaming、flink。今天来探讨一下spark-streaming任务的开发到上线过程中遇到的问题。 公司领导最近提了一个实时展示用户、产品各方面统计数据的需求，对于数据埋点需要有一套针对性的计划。因此需要我们大数据平台对数据进行实
转载
2023-12-03 09:38:32
49阅读
Background在前文Spark源码分析之-scheduler模块中提到了Spark在资源管理和调度上采用了Hadoop YARN的方式：外层的资源管理器和应用内的任务调度器；并且分析了Spark应用内的任务调度模块。本文就Spark的外层资源管理器-deploy模块进行分析，探究Spark是如何协调应用之间的资源调度和管理的。Spark最初是交由Mesos进行资源管理，为了使得更多
转载
2024-05-08 19:29:45
44阅读
在大数据领域，spark 是一个比较受欢迎的大数据处理平台，但是由于数据量过大等一系列问题，造成任务执行不成功，现在总结个人在工程实践中遇到的一些个奇葩问题．１．数据倾斜问题 现象： １．可能会报资源不足，内存溢出 ２．大部分task 均执行完，只有少数几个task始终在执行中 ３．报错：Container killed on request. Exit code is 143 针对数据倾斜问题的
转载
2023-08-27 15:36:34
694阅读
刚接触linux没多久，虽然之前看过一些参考资料但只是限于理论知识，并没有上机实践，好些东西看完后就忘了，等到实际应用时才发现处处碰壁……甚是窘迫。下面就来把我的糗事晒晒。
今天想用shell执行一个进入目录的脚本，本来认为很简单，编写完后直接执行，发现并没有达到预想的结果，比如说我想进入/root/workspace这个目录，执行脚本时并没有成功，以为出错，于是就向
原创
2012-04-05 12:49:59
388阅读
遇到这些问题的背景，是我在学习 MyBatis 的时候，要用到多个 module。但因为解决问题的时候忘记截图了，所以以下问题的阐述会有些模糊，我也不知道之后自己能否看懂，总之，就先按照我的记忆和理解记下来，方便以后出现同样的问题时，可以不用耗费很多时间去解决。 问题1：之前不知道做了什么，其中一个module的main目录下的 java 文件夹突然消失了，但是resources下的文件
转载
2023-07-19 09:35:02
38阅读
1、java: 找不到符号 map(o->o._2)处提示找不到符号 SparkSession spark = SparkSession.builder().appName(appName).getOrCreate(); JavaSparkContext jsc = new JavaSparkCon ...
转载
2021-08-26 14:11:00
945阅读
2评论
1 概述 Spark的on Yarn模式。其资源分配是交给Yarn的ResourceManager来进行管理的。可是眼下的Spark版本号，Application日志的查看，仅仅能通过Yarn的yarn logs命令实现。 在部署和执行Spark Application的过程中，假设不注意一些小的细
转载
2017-06-08 12:52:00
58阅读
2评论
Out of MemorySpark中的OOM问题不外乎以下两种情况map执行中内存溢出shuffle后内存溢出map执行中内存溢出代表了所有map类型的操作，包括：flatMap，filter，mapPatitions等。shuffle后内存溢出的shuffle操作包括join，reduceByKey，repartition等操作。 Spark的内存模型：任何Spark的进程都是一个J
转载
2023-06-19 10:04:42
632阅读
今天去面试遇到了一个笔试题，让我写一个程序，找出所有小于100000的素数，说句实话，我之前是没接触过这个的。当时有点懵。后来我回来总结了一下。首先，素数只能被1和自身整除的数。所以先定义一个函数判断一个数是否是素数，接着从1到100for循环判断。代码如下：public class Test1 { public static boolean fun(int n) { if (n < 2)...
原创
2021-09-07 19:05:52
291阅读
测试应用说明 测试的Spark应用实现了同步hive表到kafka的功能。具体处理流程：
原创
2021-09-07 11:11:57
873阅读
搭建运行spark streaming过程遇到的问题问题描述：完成spark streaming之后执行mvn package之后出现如下错误：Failed to execute goal org.scala-tools:maven-scala-plugin:2.15.2:testCompile (default) on project ProjectXXX出现问题原因:这个问题，是IDEA里的
原创
2023-05-11 10:20:50
147阅读
解决spark中遇到的数据倾斜问题
breeze_lsw关注0.4452016.07.25 18:10:34字数 1,083阅读 8,196一. 数据倾斜的现象多数task执行速度较快,少数task执行时间非常长，或者等待很长时间后提示你内存不足，执行失败。二. 数据倾斜的原因常见于各种shuffle操作，例如reduceByKey,groupByKey,join等操作。数据问题key本身分布不
原创
2023-06-09 09:28:36
84阅读
