一：RDD简介(一)RDD概念RDD(Resilient Distributed DataSet)，弹性分布式数据集，是Spark中最基本，也是最重要的数据抽象，它代表一个不可变、可分区、里面的元素可并行计算的集合。RDD具有数据流模型的特点：自动容错、位置感知度调度和可伸缩性。RDD允许用户在执行多个查询时显式地将工作集缓存在内存中，后续的查询能重用工作集，这极大地提升了查询速度。因为有RDD，
转载
2023-07-21 15:01:12
592阅读
其实在spark上构建一个项目是一个很简单的事情，比较繁琐的是环境的搭建。spark上实现一个项目就和实现一个普通的非分布式的项目一样，下面用两个例子来说明：1、Wordcount程序（spark和Hadoop对比）（1）Hadoop比较繁琐，需要写一个map程序，实现单词的切分，以及进行发送出去（也就是写到磁盘的过程），然后你还要写一个reduce程序，将相同的单词进行计数累加，最后你还要写一个
转载
2023-07-17 16:39:46
83阅读
文章目录一.Spark streaming介绍1.1 Spark streaming简介1.2 Spark 与storm区别1.3 一个简单的例子二.Spark Streaming的组件介绍2.1 Streaming Context2.2 Dstream(离散流)2.1 Receiver2.2 数据源2.3 可靠性2.4 Dstream的操作2.5 缓存2.6 Checkpoint三.一个简单的
转载
2024-10-24 20:49:09
55阅读
spark项目技术点整理1.性能调优： 1>分配更多的资源：性能调优的王道就是分配和增加更多的资源。写完一个spark作业后第一个要是调节最优的资源配置，能够分配的资源达到你的能力范围的顶端后，才是考虑以后的性能调优。 2>分配那些资源：executor,cpu per executor,memory per executor.,driver memory 3>在哪里分配：
转载
2023-08-01 14:07:01
191阅读
【导读：数据是二十一世纪的石油，蕴含巨大价值，这是·情报通·大数据技术系列第[73]篇文章，欢迎阅读和收藏】1 基本概念无论 Windows 或 Linux 操作系统，构建 Spark 开发环境的思路一致，基于 Eclipse 或 Idea ，通过 Java 、 Scala 或 Python 语言进行开发。安装之前需要提前准备好 JDK 、 Scala 或 Python 环境，然后在 Eclips
转载
2023-08-21 20:46:47
93阅读
# 搭建Spark SQL项目的步骤
## 1. 创建一个新的Spark SQL项目
首先，我们需要创建一个新的Spark SQL项目。可以按照以下步骤进行操作：
1. 使用命令行或IDE（如IntelliJ IDEA）创建一个新的Scala项目。
2. 在项目的根目录下创建一个`build.sbt`文件，并添加以下内容：
```scala
name := "SparkSQLProjec
原创
2024-02-13 10:00:33
159阅读
文章目录一、新建项目二、配置Maven环境三、配置Scala环境四、测试准备五、
原创
2022-08-12 10:43:35
145阅读
前面安装好三节点的centos 6.5 和配置好静态ip,这里就不多说了 创建kfk用户，然后重启 设置主机名 接下来是主机名与ip地址的映射 配置完了重启 重启后可以看到我们的主机名改变了 接下来在windows下的映射 找到这个路径下的hosts文件，用记事本编辑 在后面加上 通过软件 实现远程
原创
2022-12-28 21:08:07
86阅读
1.开发项目，我们先的搭建一个项目目录，基本的项目目录很简单，就一个index.html文件、c
原创
2022-10-12 14:31:17
64阅读
一、Spark开发环境准备工作由于Spark仅仅是一种计算框架，不负责数据的存储和管理，因此，通常都会将Spark和Hadoop进行统一部署，由Hadoop中的HDFS、HBase等组件负责数据的存储管理，Spark负责数据计算。安装Spark集群前，需要安装Hadoop环境 二、了解Spark的部署模式（一）Standalone模式Standalone模式被称为集群单机模式。该模式下，
固定开头，菜鸡一只，如有说错，请大家批评指出，一定改正！事情是这样，当我们学习spark的时候，搭建一个环境是最简单也是最开始我们要做的，一般情况下，我们都是使用虚拟机（linux机器）来搭建spark的环境，然后让spark运行在yarn上（其实也有其他几个模式，但是yarn模式是较常见的通用的资源管理平台）但是本文要说的是如何在生产（环境）服务器上，搭建自己的spark环境 需要准备
转载
2023-12-15 10:12:12
0阅读
CDH的官网都写的很详细，我们要学会看官网的步骤去安装，是最权威的 文章目录一 找到Spark在哪里二 安装CDS2.1 安装Service Descriptor步骤a步骤b步骤c步骤d2.2 添加包裹仓库(parcel repository)2.3 CMS配置Parcel URL2.4 下载，分发，激活2.5 添加Spark2 服务三 运行example 一 找到Spark在哪里官网的文档地址：
转载
2023-07-04 11:06:59
243阅读
实验指导：13.1 实验目的能够理解Spark存在的原因，了解Spark的生态圈，理解Spark体系架构并理解Spark计算模型。学会部署Spark集群并启动Spark集群，能够配置Spark集群使用HDFS。13.2 实验要求要求实验结束时，每位学生均已构建出以Spark集群：master上部署主服务Master；slave1、2、3上部署从服务Worker；client上部署Spark客户端。
转载
2023-10-25 21:07:53
106阅读
文章目录一、Spark简介二、RDD和DSM（分布式共享内存）三、Spark实现1.Job Scheduling2.Interpreter Integration（解释器的集成）3.Memory Management4.Support for Checkpointing四、PageRank代码1.PageRank算法简介2.应用程序代码（1）Scala语法（2）PageRank的代码（3）执行P
转载
2023-08-28 14:20:59
98阅读
准备好相关环境主要是在集群电脑上安装好java JDK,设置好电脑主机名称，配置Ip地址，利用ssh进行电脑间的连接，并测试好网络连接可靠。搭建hadoop系统(sprak本身不依赖hadoop,这里我想把hadoop用起来)，同时可以预装python、pycharm这些可能用到的编程语言和开发环境。hadoop系统如何搭建可参考我之前的博文。安装spark至官网下载相应版本的spark安装文件
转载
2023-07-20 18:21:21
8阅读
1 两种解决方案1基于文件系统的单点恢复，主要用于开发或者测试环境，spark提供目录保存spark application和worker的注册信息，并将它们的恢复状态写入该目录中。一旦master发生故障，就可以通过重新启动master进程(sbin/start-master.sh)，恢复已运行的spark application和worker的注册信息。2基于zookeeper的standby
转载
2023-10-20 21:32:17
97阅读
Spark On Yarn完全分布式搭建 Spark On Yarn的搭建分为三个阶段，第一个是Zookeeper集群的搭建，第二是Hadoop集群的搭建，第三是Spark集群的搭建。所以以下将按照这三个步骤来给大家进行展示Spark On Yarn完全分布式搭建。
一、准备
1、软件及版本 1.&n
转载
2024-06-18 13:22:42
97阅读
通常写spark的程序用scala比较方便，毕竟spark的源码就是用scala写的。然而，目前java开发者特别多，尤其进行数据对接、上线服务的时候，这时候，就需要掌握一些spark在java中的使用方法了 一、map map在进行数据处理、转换的时候，不能更常用了 在使用map之前 首先要定义一个转换的函数 格式如下：Function<String, LabeledPoint&
转载
2023-07-31 15:42:13
135阅读
之前通过一些 webpack 的简单配置，项目可以使用 React 来编写基本组件了，但是每次编写组件，都需要重新执行webpack命令打包，然后再手动在浏览器中打开页面才能看到开发结果，这是十分影响开发效率的，我们要的效果yarn start启动项目运行，在开发过程中使用ctrl+s保存文件，然后页面能自动更新，为此需要配置 HMR 和 webpack-dev-server。开发模式模式（Mod
转载
2021-01-19 22:31:20
619阅读
2评论
一 使用 Angular CLI 官方脚手架
1.安装 cli
npm install -g @angular/cli
2.创建工作空间和初始应用
ng new my-app
二 tsLint 代码格式管理
三 cssStyleLint
四 配置 prettier 的 hook 当代码在git cz （git commit）之前能进行代码检测，如果检测不通过无法进行提交
五 引入 Angula
原创
2021-09-04 11:57:20
172阅读
