spark最初级的优化就是shuffle优化，在代码和资源设置中都有需要注意的地方。 为什么shuffle过程代价很大这是由于shuffle过程可能需要完成以下过程：重新进行数据分区数据传输数据压缩磁盘I/O 1、在Spark中，什么情况下，会发生shuffle？reduceByKey、groupByKey、sortByKey、countByKey、join、cogroup等
转载
2023-07-26 22:45:48
77阅读
为什么要使用广播(broadcast)变量？ Spark中因为算子中的真正逻辑是发送到Executor中去运行的，所以当Executor中需要引用外部变量时，需要使用广播变量。进一步解释： 如果executor端用到了Driver的变量，如果不使用广播变量在Executor有多少task就有多少Dr
转载
2019-03-28 10:00:00
123阅读
2评论
《2021年最新版大数据面试题全面开启更新》欢迎关注github《大数据成神之路》目录一、下载Spark安装包1、从官网下载2、从微软的镜像站下载3、从清华的镜像站下载二、安装基础三、Spark安装过程1、上传并解压缩2、为安装包创建一个软连接3、进入spark/conf修改配置文件4、配置环境变量四、启动1、先启动zookeeper集群2、在启动HDFS集群3、在启动Spark集群4、查看进程5、问题6、执行之后再次查看进程五、验证1、查看Web界面Mas.
原创
2021-06-10 21:03:04
309阅读
《2021年最新版大数据面试题全面开启更新》欢迎关注github《大数据成神之路》目录一、下载Spark安装包1、从官网下载2、从微软的镜像站下载3、从清华的镜像站下载二、安装基础三、Spark安装过程1、上传并解压缩2、为安装包创建一个软连接3、进入spark/conf修改配置文件4、配置环境变量四、启动1、先启动zookeeper集群2、在启动HDFS集群3、在启动Spark集群4、查看进程5、问题6、执行之后再次查看进程五、验证1、查看Web界面Mas.
原创
2021-06-10 18:18:17
230阅读
**Spark 2.3 对 K8S 的支持**
**整体流程**
| 步骤 | 描述 |
| ----- | ----- |
| 1 | 准备一个 Spark Application |
| 2 | 构建 Docker 镜像 |
| 3 | 部署到 Kubernetes 集群上运行 |
**步骤详解**
**步骤 1：准备一个 Spark Application**
在开
原创
2024-03-07 12:25:23
83阅读
PySpark大数据处理及机器学习Spark2.3网盘地址：https://pan.baidu.com/s/1cE5SBX6Vs4uhkvN2WQhyBQ密码:fjec备用地址（腾讯微云）：https://share.weiyun.com/5P40875密码：n7edfg本课程主要讲解Spark技术，借助Spark对外提供的Python接口，使用Python语言开发。涉及到Spark内核原理、Sp
原创
2018-09-10 14:26:44
0阅读
本次此时是在SPARK2,3 structured streaming下测试，不过这种方案，在spark2.2 structured streaming下应该也可行（请自行测试）。以下是我测试结果： 成功测试结果： 准备工作：创建maven项目，并在pom.xml导入一下依赖配置： 第一步：Load
转载
2019-03-27 21:23:00
157阅读
2评论
具体脚本 # export env variableif [ -f ~/.bash_profile ];then source ~/.bash_profilefisource /etc/profile
转载
2018-12-12 10:46:00
66阅读
2评论
PySpark大数据处理及机器学习Spark2.3视频教程，本课程主要讲解Spark技术，借助Spark对外提供的Python接口，使用Python语言开发。涉及到Spark内核原理、Spark基础知识及应用、Spark基于DataFrame的Sql应用、机器学习等内容。由浅到深的带大家深入学习大数据
原创
2021-11-09 16:30:36
109阅读
kafka测试数据生成： Stream join Stream测试代码： 要求：使用spark structured streaming实时读取kafka中的数据，kafka中的数据包含字段int_id；kafka上数据需要关联资源信息（通过kafka的int_id与资源的int_id进行关联），同
转载
2018-12-15 21:17:00
43阅读
2评论
背景： 调研过OOZIE和AZKABA,这种都是只是使用spark-submit.sh来提交任务，任务提交上去之后获取不到ApplicationId，更无法跟踪spark application的任务状态，无法kill application，更无法获取application的日志信息。因此，为了实
转载
2019-01-09 22:20:00
404阅读
2评论
WaterMark除了可以限定来迟数据范围，是否可以实现最近一小时统计？ WaterMark目的用来限定参数计算数据的范围：比如当前计算数据内max timestamp是12::00，waterMark限定数据分为是60 minutes，那么如果此时输入11:00之前的数据就会被舍弃不参与统计，视为
转载
2018-12-02 19:21:00
236阅读
2评论
在IT行业中，自动化配置工具已经成为了不可或缺的一部分。而在众多的自动化工具中，Ansible作为一款功能强大的工具，备受开发人员的青睐。而在最新发布的Ansible 2.3版本中，更加强化了其在自动化配置方面的能力。本文将为大家介绍如何安装Ansible 2.3，并体验其新功能。
Ansible是一个开源的自动化配置工具，它通过SSH协议在远程主机上执行任务。使用Ansible可以方便地完成服
原创
2024-02-02 12:24:03
78阅读
ApacheSpark2.3重要特性介绍过往记忆过往记忆大数据本文翻译自：https://databricks.com/blog/2018/02/28/introducing-apache-spark-2-3.html为了继续实现Spark更快，更轻松，更智能的目标，Spark2.3在许多模块都做了重要的更新，比如StructuredStreaming引入了低延迟的连续处理（continuousp
原创
2021-04-02 14:46:13
135阅读
本文翻译自：https://databricks.com/blog/2018/02/28/introducing-apache-spark-2-3.html为了继续实现 Spark 更快，更轻松，更智能的目标，Spark 2.3 在许多模块都做了重要的更新，比如 Structured Streaming 引入了低延迟的连续处理（continuous processing）；支持 stream-to
原创
2021-04-06 10:35:24
195阅读
1.安装环境安装环境：1.需要3台服务器，1台做MDS，1台做OSS，1台做CLS2.测试环境：rhel6.33.Selinux 必须disabled4.官方建议要在Client上,配置NTP服务5.在每台服务上修改/etc/hosts文件这里写了个简单的脚本内容如下:Vim hosts.sh#!/bin/bash#This script is change hostslujing=/etc/ho
原创
2013-05-07 21:26:06
4401阅读
点赞
1评论
EasyBCD是一款功能强大的系统引导工具，主要用于在Windows环境下管理多个操作系统的引导。除了Windows系统之外，EasyBCD还支持Linux系统的引导设置，让用户可以方便地在一台计算机上安装多个操作系统，实现多系统共存的需求。
在安装Linux系统时，我们可以使用EasyBCD来管理引导设置，以确保系统可以顺利启动。下面将介绍如何使用EasyBCD 2.3来安装Linux系统。
原创
2024-05-22 10:22:35
346阅读
# 安装ruby2.3的步骤和代码解析
## 整体流程
为了帮助你安装ruby2.3，我会按照以下步骤详细解释每一步需要做什么和使用的代码。整个过程主要包括以下几个步骤：
| 步骤 | 描述 |
| --- | --- |
| 步骤一 | 安装ruby的版本管理工具rvm |
| 步骤二 | 使用rvm安装ruby 2.3 |
| 步骤三 | 验证ruby的安装 |
下面让我们详细了解每一
原创
2023-08-18 04:56:04
143阅读
以下 64 位系统支持 TensorFlow:Ubuntu 16.04 或更高版本Windows 7 或更高版本macOS 10.12.6（Sierra） 或更高装安装GPU版本必须有GPU硬件的支持。TensorFlow 对 NVIDIA 显卡的支持较为完备可以使用
原创
2022-06-01 18:35:23
1172阅读
每建一个用户，home下会生成一个相对应的文件夹 rpm -ivh --prefix=/home/nginx/zlib zlib-devel-1.2.11-26.fc35.x86_64.rpm rpm: Header V4 RSA/SHA256 Signature, key ID 9867c58f: ...
转载
2021-09-15 20:08:00
609阅读
2评论
