目录 一、windows下配置pyspark环境 1.1 jdk下载安装 1.2 Scala下载安装 1.3 spark下载安装 1.4 Hadoop下载安装 1.5 pyspark下载安装 1.6 anaconda下载安装 1.7 测试环境是否搭建成功 二、pyspark原理简介 三、pyspark使用语法 3.1 RDD的基本操作 3.2 DataFrame的基本操作
转载
2023-08-24 18:02:07
162阅读
## PySpark工作机制
PySpark是一个强大的大数据处理工具，它基于Apache Spark，提供了Python API，使得我们可以使用Python语言来编写并执行Spark应用程序。在了解PySpark的工作机制之前，我们先来了解一下Spark的基本概念。
### Spark基本概念
- **SparkContext**: SparkContext是Spark应用程序的入口，它
原创
2024-06-06 06:15:03
25阅读
RDD弹性分布式以执行确定的转换操作创建新的 RDD。具体来讲，RDD
转载
2023-05-18 17:06:28
65阅读
原文作者：李海强，来自平安银行零售大数据团队
原创
2022-09-08 13:27:45
446阅读
一个名叫sid的男人，狂热地爱好拍摄、保存和整理照片。sid的妻子名叫debbie，他们有三个儿子logan、archie和chuck。他有一所很大的房子，同住的有男管家simon和女仆pam。我将介绍他的家庭、他的房子和他的爱好：拍摄、收集和炫耀他的照片。现在，sid快乐地生活着—家庭、朋友和假期...
原创
2023-05-11 11:10:28
77阅读
LVS Linux Virtual Server：Linux虚拟服务器
LVS是一台主机，将数据转发给其他的真正的主机的。LVS的应用只需要装在调度节点上，它的工作原理基本类似于DNAT。其实虚拟服务器可以看做是一个四层交换。通过套接字来完成的转发。这对于客户端来说几乎是透明的。
LVS的特点：高吞吐能力、高并发能力，
原创
2011-09-07 21:29:56
1422阅读
点赞
1评论
ElasticSearch，和Solr一样，是底层基于Apache Lucene，且具备高可靠性的企业级搜索引擎。ElasticSearch中的一些概念其实和关系型数据库都有对应关系，比如数据库在ES中被称为索引，表在ES中被称作Type。具体对应关系见下表。ElasticSearch中的Replica是副本的意思，创建副本的好处有两个，1，可以分流部分查询请求,2，如果集群中的某个分片丢失了，就
推荐
原创
2014-11-25 12:53:34
3821阅读
点赞
WAE:Web应用防护系统（也称：网站应用级入侵防御系统）WAF与防火墙的区别：网络防火墙作为访问控制设备，主要工作在OSI模型三、四层，基于IP报文进行检测。只是对端口做限制，对TCP协议做封堵。其产品设计无需理解HTTP会话，也就决定了无法理解Web应用程序语言如HTML、SQL语言。因此，它不可能对HTTP通讯进行输入验证或攻击规则分析。针对Web网站的恶意攻击绝大部分都将封装为HTTP请求
原创
2017-03-19 14:51:26
2457阅读
点赞
1评论
一个数据块在datanode上以文件的形式存储在磁盘上,包括两个文件,一个是数据本身,一个数元数据,包括数据块的长度,块数据的校验和,以及时间戳 (这个时候是安全机制)DataNode启动后向namenode注册,通过后,周期性(1小时)的向namenode上报所有块的信息心跳每3秒一次.心跳返回的结果带有namenode给datanode的命令,如复制块数据到另外一台机器,或删除某个数据...
原创
2021-06-05 23:30:59
300阅读
一个数据块在datanode上以文件的形式存储在磁盘上,包括两个文件,一个是数据本身,一个数元数据,包括数据块的长度,块数据的校验和,以及时间戳 (这个时候是安全机制)DataNode启动后向namenode注册,通过后,周期性(1小时)的向namenode
原创
2022-02-24 18:24:25
194阅读
checkpoint的目的减少数据库实例恢复的时间;让内存中的脏数据及时的写到磁盘上;在安全关闭数据库时，保证所有提交的数据被写到磁盘上
原创
2023-02-27 10:14:37
162阅读
zookeeper从设计模式角度来理解，是一个基于观察者模式设计的分布式服务管理框架。它负责存储和管理大家关心的数据，然后接受观察者的注册，一旦这些数据发生变化，zookeeper就将负责通知已经在zookeeper上注册的那些观察者做出相应的反应。zookeeper:一个领导者（leader）,多个跟随者（follower）组成的集群。集群中只有半数以上节点，zookeeper就能正常服务。全局
原创
2024-07-05 01:20:04
45阅读
cygwin的工作机制 cygnus当初首先把gcc，gdb，gas等开发工具进行了改进，使他们能够生成并解释win32的目标文件。然后，他们要把这些工具移植到win
转载
2023-06-16 11:14:08
46阅读
我们从一个用户请求开始讲,ORACLE的简要的工作机制是怎样的,首先一个用户进程发出一个连接请求,如果使用的是主机命名或者是本地服务命中的主机名使用的是机器名(非IP地址)，那么这个请求都会通过DNS服务器或HOST文件的服务名解析然后传送到ORACLE监听进程,监听进程接收到用户请求后会采取两种方式来处理这个用户请求,下面我们分专用服务器和共享服务器分别采用这两种方式时的情况来讲：
专用服务器
翻译
精选
2010-12-28 17:32:40
334阅读
点赞
客户端的应用程序 jar包 切片 配置文件客户端申请一个applicationRM返回一个application资源提交路径 以及application_id提交job运行所需的资源提交资源完毕,申请运行mrAppMasterResourceManager将用户的请求初始化为一个taskFIFO调度队列. 容量调度器NodeManager 接受到task任...
原创
2021-06-02 09:19:49
515阅读
Session的工作机制用户第一次请求服务器时，服务器端会生成一个sessionid服务器端将生成的sessionid返回给客户端，通过set-cookie客户端收到sessionid会将它保存在cookie中，当客户端再次访问服务端时会带上这个sessionid当服务端再次接收到来自客户端的请求时，会先去检查是否存在sessionid，不存在就新建一个sessionid重复1,2的流程，如果存在
原创
2023-09-22 07:44:57
139阅读
云计算时代的操作系统Kubernetes 是一个生产级别的容器编排平台和集群管理系统，能够创建、调度容器，监控、管理服务器。Kubernetes 的基本架构操作系统的一个重要功能就是抽象，从繁琐的底层事务中抽象出一些简洁的概念，然后基于这些概念去管理系统资源。Kubernetes 也是这样，它的管理目标是大规模的集群和应用，必须要能够把系统抽象到足够高的层次，分解一些松耦合的对象，才能简化系统模型
原创
2023-03-15 00:25:53
7607阅读
云计算时代的操作系统Kubernetes 是一个生产级别的容器编排平台和集群管理系统，能够创建、调度容器，监控、管理服务器。Kubernetes 的基本架构操作系统的一个重要功能就是抽象，从繁琐的底层事务中抽象出一些简洁的概念，然后基于这些概念去管理系统资源。Kubernetes 也是这样，它的管理目标是大规模的集群和应用，必须要能够把系统抽象到足够高的层次，分解一些松耦合的对象，才能简化系统模型
原创
精选
2023-03-15 00:26:48
10000+阅读
# Spark的工作机制
## 1.任务流程概述
为了帮助你理解Spark的工作机制，我将整个过程分为以下几个步骤，并为每个步骤提供相应的代码示例。
### 任务流程表格
| 步骤 | 描述 |
|------|--------------------|
| 1 | 初始化SparkSession |
| 2 | 读取数据 |
|
原创
2024-03-25 05:09:48
46阅读
客户端的应用程序 jar包 切片 配置文件客户端申请一个applicationRM返回一个application资源提交路径 以及application_id提交job运行所需的资源提交资源完毕,申请运行mrAppMasterResourceManager
原创
2022-02-24 18:07:52
259阅读
