Background在前文Spark源码分析之-scheduler模块中提到了Spark在资源管理和调度上采用了Hadoop YARN的方式：外层的资源管理器和应用内的任务调度器；并且分析了Spark应用内的任务调度模块。本文就Spark的外层资源管理器-deploy模块进行分析，探究Spark是如何协调应用之间的资源调度和管理的。Spark最初是交由Mesos进行资源管理，为了使得更多
问题一：日志中出现：org.apache.spark.shuffle.MetadataFetchFailedException: Missing an output location for shuffle 0原因分析： shuffle分为shuffle write和shuffle read两部分。 shuffle write的分区数由上一阶段的RDD分区数控制，shuffle read的分区数则
转载
2023-10-27 09:28:07
1153阅读
最近总结一波面试问题(包括python，MySQL，大数据等，一个人力量有限)，有兴趣查看 github1.数据倾斜的产生和解决办法？数据倾斜以为着某一个或者某几个 partition 的数据特别大，导致这几个 partition 上的计算需要耗费相当长的时间。在 spark 中同一个应用程序划分成多个 stage，这些 stage 之间是串行执行的，而一个 stage 里面的多个 ta
转载
2023-10-27 14:21:23
50阅读
7 内存溢出问题
在Spark中使用hql方法执行hive语句时，由于其在查询过程中调用的是Hive的获取元数据信息、SQL解析，并且使用Cglib等进行序列化反序列化，中间可能产生较多的class文件，导致JVM中的持久代使用较多，如果配置不当，可能引起类似于如下的OOM问题：
1. Exception in thread "Thread-2" java
转载
2023-08-29 08:38:07
120阅读
1.MongoNetworkError:failed to connect to server? 数据库没有启动,启动mongo数据库就好 2.
原创
2022-11-14 11:51:48
33阅读
首先是环境安装，可参考之前的博客，里面有hadoop和spark环境配置的连接。最好先安装hadoop。使用spark的话hadoop最好还是安装下。一：在spark中运行python代码的问题，真的这个对于经常使用spark的人来说可能是非常简单的问题，但对于我这个急于求成的人来说，真的手足无措。看网上的方法都是使用spark-submit来提交，这样总觉得很烦，如果可以之间在编译器中点击运行按
转载
2023-08-12 14:01:54
61阅读
目前一直在做大数据平台的开发，所以有机会看到全公司的小伙伴们提交spark任务的时候，常见的错误。所以这里列举下遇到的错误以及解决方案，做个记录，以后定期更新：Table or view not found: aaa.bbb这个错误很简单，就是表或者视图没找到。引起这个原因的可能如下：如果你是连接hive中的数据表，程序有没有正确加载hive-site.xml。在你的代码resource里面加上h
转载
2023-09-05 16:21:45
394阅读
在执行mongod.exe安装mongodb时 出现
无法定位程序输入点 InterlockedCompareExchange64 于动态链接库KERNEL32.dll上
解决方案：
If you’re seeing that error message, you’re attempting to run the latest development
转载
精选
2012-12-25 13:12:55
570阅读
最近的一个项目中使用了spark技术过程遇到的一些问题，下面就以问题来分析原因及解决过程。问题1、创建sparkView没有加限制条件，导致创建几十上百万大数据量的view时，多库的情况下在driver创建了 大量的view,就把driver端的内存撑爆了，之前线上没有暴露出来的这个问题原因主要是每一个小时都会处理一次,每次数据量都不大，后面任务有停了几天，数据量突增了很多，这时就出现很多问题
转载
2023-10-18 07:09:55
38阅读
spark-streaming任务提交遇到的坑一、背景 基本所有公司互联网公司都会有离线和实时任务，达到实时的目的手段据个人了解有storm、spark-streaming、flink。今天来探讨一下spark-streaming任务的开发到上线过程中遇到的问题。 公司领导最近提了一个实时展示用户、产品各方面统计数据的需求，对于数据埋点需要有一套针对性的计划。因此需要我们大数据平台对数据进行实
在大数据领域，spark 是一个比较受欢迎的大数据处理平台，但是由于数据量过大等一系列问题，造成任务执行不成功，现在总结个人在工程实践中遇到的一些个奇葩问题．１．数据倾斜问题 现象： １．可能会报资源不足，内存溢出 ２．大部分task 均执行完，只有少数几个task始终在执行中 ３．报错：Container killed on request. Exit code is 143 针对数据倾斜问题的
转载
2023-08-27 15:36:34
112阅读
1、概述在高层的角度上看，每一个Spark应用都有一个驱动程序（driver program）。驱动程序就是运行用户的main主程序并在集群上执行各种并行操作的程序。Spark中的一个主要的抽象概念就是弹性分布数据集（resilient distributed dataset,RDD），RDD是分布在多个节点构成的集群上的元素的集合，并支持并行操作。RDD可以由Hadoop的分布式文件
# MySQL操作中常见的问题及解决方案
在使用MySQL时，开发者和数据库管理员经常会遇到各种问题。理解这些问题及其解决方案，有助于我们提高数据库管理效率，保证数据的安全性与完整性。本文将介绍一些常见的MySQL问题，并提供相应的代码示例，帮助读者更好地理解。
## 1. 连接失败
连接数据库时，如果配置错误或者服务未启动，就会出现连接失败的问题。常见的错误包括：
- 用户名或密码错误
# 使用 Spark 操作 MongoDB 的指南
在大数据处理领域，Apache Spark 和 MongoDB 是两个非常流行的技术栈，可以帮助我们处理和存储大规模数据。本文将指导你如何使用 Spark 操作 MongoDB，适合刚入行的小白。以下是实现这一功能的基本流程：
## 流程步骤
| 步骤 | 描述 |
|------|-----------------
1 概述 Spark的on Yarn模式。其资源分配是交给Yarn的ResourceManager来进行管理的。可是眼下的Spark版本号，Application日志的查看，仅仅能通过Yarn的yarn logs命令实现。 在部署和执行Spark Application的过程中，假设不注意一些小的细
转载
2017-06-08 12:52:00
58阅读
2评论
1、java: 找不到符号 map(o->o._2)处提示找不到符号 SparkSession spark = SparkSession.builder().appName(appName).getOrCreate(); JavaSparkContext jsc = new JavaSparkCon ...
转载
2021-08-26 14:11:00
894阅读
2评论
今天使用PowerShell来操作XML遇到两个问题，之前一直用的C#操作XML，所以我想在PowerShell上应该跟C#一样的。
先准备好XML文件如下，我给它命名test.xml
<?xml version="1.0" encoding="utf-8" ?> <
推荐
原创
2012-05-23 17:05:06
1667阅读
点赞
1评论
Spark Scheduler 模块的文章中，介绍到 Spark 将底层的资源管理和上层的任务调度分离开来，一般而言，底层的资源管理会使用第三方的平台，如 YARN 和 Mesos。为了方便用户测试和使用，Spark 也单独实现了一个简单的资源管理平台，也就是本文介绍的 Deploy 模块。一些有经验的读者已经使用过该功能。本文参考：http://jerryshao.me/architecture
转载
2023-08-27 09:41:23
32阅读
Deploy模块详解Spark的Cluster Manager有以下几种部署模式：Standalone、Mesos、YARN、EC2、Local。Deploy模块是spark standalone的分布式框架，其采用master/slave架构。5.1Spark运行模式概述在SparkContext的创建过程中，会通过传入的Master URL的值来确定不同的运行模式，并且创建不同的Schedul
转载
2023-10-05 16:32:25
50阅读
问题一 分片配置完全正确，mongos服务能正常启动，片键的选择也完成合理（之前在本地测试过），可是数据总是集中在一个分片上面？ 最终的解决过程，在某一个分片服务器上使用mongo登录之后提示如下错误： 根据提示，将内核的参数修改为0，执行如下命令： echo 0 &
原创
2014-10-08 17:11:00
540阅读
