51CTO首页
AI.x社区
博客
学堂
精品班
软考社区
免费课
企业培训
鸿蒙开发者社区
信创认证
公众号矩阵
移动端
视频课 免费课 排行榜 短视频 直播课 软考学堂
全部课程 软考 信创认证 华为认证 厂商认证 IT技术 PMP项目管理 免费题库
在线学习
文章 资源 问答 课堂 专栏 直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO软考
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
51CTO软考题库

Spark2.x（六十二）：（Spark2.4）共享变量 - Broadcast原理分析

之前对Broadcast有分析，但是不够深入《Spark2.3（四十三）：Spark Broadcast总结》，本章对其实现过程以及原理进行分析。 带着以下几个问题去写本篇文章： 1）driver端如何实现broadcast的装备，是否会把broadcast数据发送给executor端？ 2）exe

Hadoop+Spark
spark
apache
scala
数据
翻译 2019-08-31 18:07:00 363 阅读 2评论

Spark2.x（六十）：在Structured Streaming流处理中是如何查找kafka的DataSourceProvider?

本章节根据源代码分析Spark Structured Streaming(Spark2.4)在进行DataSourceProvider查找的流程，首先，我们看下读取流数据源kafka的代码： sparkSession.readStream()返回的对象是DataSourceReader DataSo

Hadoop+Spark
spark
apache
sql
ide
翻译 2019-08-27 22:31:00 349 阅读 2评论

JAVA：使用栈实现一个队列

使用栈实现一个队列，需要弄清楚栈和队列的区别： 栈：先进后出； 队列：先进先出。 实现思路： 1）通过两个栈（pushStack / popStack）对倒，确保 popStack 栈的出栈顺序与队列出列一致。 2）核心难点在加入队列操作，假设队列中已经加入1、2、3、4，加入5的过程： 2.1）假

java
出队
数据
数据导入
调优
翻译 2019-08-13 23:32:00 167 阅读 2评论

Spark2.x（五十七）：User capacity has reached its maximum limit（用户容量已达到最大限制）

背景： 目前服务器资源是43个节点，每个节点配置信息如下：24VCores 64G yarn配置情况： 已经成功启动任务：34个app(每个app driver内存7g，executor个数1,executor内存20g) 另外成功启动分发程序：1个app（driver内存6g，executor个数

Hadoop+Spark
hadoop
应用程序
xml
sed
翻译 2019-07-31 11:15:00 313 阅读 2评论

Spark2.x（五十六）：Queue's AM resource limit exceeded.

背景： 按照业务需求将数据拆分为60份，启动60个application分别运行对每一份数据，application的提交脚本如下： 运行集群包含的运行节点43个节点，每个节点配置信息如下：24VCores 64G yarn配置情况： 问题： 执行上边脚本启动了60个任务，但是经过测试发现最多只能提

Hadoop+Spark
jar
spark
应用程序
java
翻译 2019-07-30 22:14:00 577 阅读 2评论

Linux Shell：Map的用法

Map定义： 在使用map时，需要先声明，否则结果可能与预期不同，array可以不声明 方式1： 方式2： Map初始化： 与array类似，可以使用括号直接初始化，也可以通过添加的方式来初始化数据，与array不同的是，括号直接初始化时使用的为一个键值对，添加元素时，下标可以不是整数 输出Map所

Linux
初始化
调优
输出格式
map遍历
翻译 2019-07-29 23:34:00 916 阅读 2评论

Spark（五十一）：Spark On YARN（Yarn-Cluster模式）启动流程源码分析（二）

上篇《Spark（四十九）：Spark On YARN启动流程源码分析（一）》我们讲到启动SparkContext初始化，ApplicationMaster启动资源中，讲解的内容明显不完整。 本章将针对yarn-cluster（--master yarn –deploy-mode cluster）模

Hadoop+Spark
spark
apache
scala
初始化
翻译 2019-06-25 22:45:00 402 阅读 2评论

在Windows系统下搭建Redis集群

准备工作 需要4个部件：Redis、Ruby语言运行环境、Redis的Ruby驱动redis-xxxx.gem、创建Redis集群的工具redis-trib.rb。使用redis-trib.rb工具来创建Redis集群，由于该文件是用ruby语言写的，所以需要安装Ruby开发环境，以及驱动redis

Redis
redis
ruby
5e
d3
翻译 2019-06-16 21:20:00 232 阅读 2评论

JVM GC原理

了解JVM GC原理非常重要，对于系统调优非常有用。如果一个系统频繁发生FULL GC，那么会造成系统响应卡顿，更严重的时候会导致系统崩溃。 JVM的内存空间 JVM的内存空间，从大的层面上来分析包含：新生代空间(Young)和老年代空间（Old）。新生代空间（Young）又被分为2个部分（Eden

Hadoop+Spark
老年代
内存空间
调优
java
翻译 2019-06-04 20:19:00 424 阅读 2评论

Spark（五十）：使用JvisualVM监控Spark Executor JVM

引导 Windows环境下JvisulaVM一般存在于安装了JDK的目录${JAVA_HOME}/bin/JvisualVM.exe，它支持（本地和远程）jstatd和JMX两种方式连接远程JVM。 jstatd (Java Virtual Machine jstat Daemon)——监听远程服务

Hadoop+Spark
spark
jar
java
kafka
翻译 2019-06-01 18:52:00 521 阅读 2评论

Spark（四十七）：Spark UI 数据可视化

导入： 1）Spark Web UI主要依赖于流行的Servlet容器Jetty实现； 2）Spark Web UI(Spark2.3之前)是展示运行状况、资源状态和监控指标的前端，而这些数据都是由度量系统（MetricsSystem）收集来的； 3）Spark Web UI（spark2.3之后）

Hadoop+Spark
spark
apache
scala
github
翻译 2019-05-10 23:27:00 555 阅读 2评论

Copyright © 2005-2025 51CTO.COM 版权所有 京ICP证060544号

关于我们
官方博客 全部文章 热门标签 班级博客
了解我们 网站地图 意见反馈
友情链接
鸿蒙开发者社区 51CTO学堂
51CTO 软考资讯