参考：https://www.cnblogs.com/qingyunzong/p/8945933.html 一：Spark中的基本概念 （1）Application：表示你的应用程序 （2）Driver：表示main()函数，创建SparkContext。由SparkContext负责与Cluste
转载
2020-03-17 22:30:00
168阅读
2评论
基本组成Spark是一个分布式系统，也是集多个功能模块于一身的统一平台。它基于一个内核模块衍生出机器学习，实时流计算，OLAP，和图数据处理等模块，如图1-1-1所示。本书主要介绍Spark内核模块的实现原理。图1-1-1 spark功能模块从图1-1-1中可以看出Spark内核模块是基础层，它是所有上层功能模块的基础。所有上层的功能模块都使用Spark内核模块提供的接口来实现其功能。Spark应
原创
2020-12-25 21:24:03
537阅读
1. Spark概述1.1. 什么是Spark（官网：http://spark.apache.org） Spark是一种快速、通用、可扩展的大数据分析引擎，2009年诞生于加州大学伯克利分校AMPLab，2010年开源，2013年6月成为Apache孵化项目，2014年2月成为Apache顶级项目。目前，Spark生态系统已经发展成为一个包含多个子项目
转载
2023-08-10 17:06:01
87阅读
本文主要讲述spark中的基本概念，包括Application、Job、Stage、Task、ClusterManger、Executor、Driver、DAGScheduler、TaskScheduler等。
原创
2018-08-25 23:49:19
1254阅读
Apache Spark是一个开源的分布式计算框架，被广泛应用于大数据处理与分析。Spark具有高速、可扩展、易用的特点，提供了丰富的API，适用于多个编程语言。本文将详尽介绍Spark的基本概念，包括环境准备、分步指南、配置详解、验证测试、优化技巧及扩展应用。
## 环境准备
### 软硬件要求
- **硬件要求**:
- CPU：至少双核心，推荐四核心处理器
- 内存：至少8GB
目录一、Application二、Job三、DAG四、Stage五、Task六、TaskSet七、RDD八、dependency九、Shuffle一、Application使用S
原创
2022-12-28 15:16:02
184阅读
其实个人觉得MEF和WCF有点类似吧，都是要通过一个接口实现的形式来达到传递信息并且使用的目的以下是个人从网络上一些高手学习来使用的一些经验吧，或者是学习的心得吧一、基本概念MEF：Managed Extensibility Framework，.NET 4.0中带来的一个基于托管的扩展程序开发框架...
转载
2015-05-11 16:45:00
176阅读
2评论
一 DOM简介 1）概念 //DOM是W3C推荐 处理可扩展标记语言的 标准编程接口document Object Model 可扩展标记语言 = ( HTML 或者 XML ) 2）作用 // 通过一系列DOM接口,可以改变网页内容 结构 样式 3）DMO中专有名词 // 1 DOM树// 2 文
转载
2021-02-17 18:58:00
353阅读
2评论
函数 int：整形 int main 表示main函数调用 返回一个整型值 return 0=返回0 printf（function）复印，打印函数字母汉字 char：字符数据类型&
原创
2022-10-17 12:49:42
158阅读
基本概念 前言 Web开发： Web,网页的意思，www.baidu.com 静态Web html、css 提供给所有人看的数据始终不会发生变化！ 动态Web 淘宝，几乎是所有的网站 提供给所有人看的数据始终会发生变化，每个人在不同的时间，不同的地点看到的信息各不相同！ 技术栈： Servlet/J ...
转载
2021-05-21 23:42:00
499阅读
2评论
重载的运算符是具有特殊名字的函数：它们的名字由关键字 和其后要定义的运算符号共同组成，和其他函数一样，重载的运算符也包含返回类型、参数列表以及函数体。 重载运算符函数的参数数量与该运算符作用的运算对象一样多。如果一个运算符函数是成员函数，则它的第一个运算对象绑定到隐式的 指针上，因此，成员运算符函数
转载
2020-03-15 10:47:00
668阅读
2评论
spark生态系统基本概念
Apache Spark 是一个强大的开源大数据处理框架，特别适用于进行快速、并行的大规模数据处理。它提供了丰富的 API 和高效的执行引擎，使得数据分析、机器学习及流处理等任务得以高效实现。随着大数据技术的不断发展，Spark 生态系统逐渐构建了一系列完整的组件，以支持多种大数据处理场景。
```mermaid
quadrantChart
title 人工
要了解Asprova，就必须先理解高级排程系统涉及的一些基本概念，下面就介绍一下Asprova系统涉及到的概念。
1、 排程：排程(scheduling)系对未来欲完成的工作给予设定时间,即是对资源分配的一种执行方式,它将产能规划与整体生产计划的结果(包括设备,人力与空间等),分配到各项工作,活动,或顾客上,并调和效率,存货水准与服务水准三个互相冲突的目标,求取一个适当的平衡点.
转载
精选
2008-05-22 16:16:10
984阅读
线程是由两个部分组成
线程的内核对象（见：内核对象），操作系统用它来对线程实施管理。内核对象也是系统用来存放线程统计信息的地方。
线程堆栈，它用于维护线程在执行代码时需要的所有函数参数和局部变量。
如果在单进程环境中，多个线程将共享单个地址空间，这些线程能够执行相同的代码，对相同的数据进行操作。这些线程还能共享内核对象句柄，因为句柄表依赖于每个进程而不
转载
2010-12-09 15:14:46
419阅读
OSPF（Open Shortest Path First）是用于自治系统AS（Autonomous System）内部的动态路由协议。
1、Router ID：路由器ID号。
一台路由器如果要运行OSPF协议，必须存在Router ID。如果没有配置ID号，系统会从当前接口的IP地址中自动选一个作为路由器的ID号。
2、DR（Designated Router）：指定路由器。
所
转载
精选
2011-05-30 22:15:10
541阅读
1、什么是集群？
集群简单来说就是将多个服务器组合起来来完成一种特定的服务。
搜的定义：计算机集群简称集群是一种计算机系统， 它通过一组松散集成的计算机软件和/或硬件连接起来高度紧密地协作完成计算工作。在某种意义上，他们可以被看作是一台计算机。集群系统中的单个计算机通常称为节点，通常通过局域网连接，但也有其它的可能连接方式
原创
2012-04-18 22:38:12
950阅读
类是种特殊的数据类，也可以说是自定义数据类型，
在class 中可以定义属性
可以是全局属性，和局部属性，属性就是变量，在java 中，专业名词叫属性，定义方法和属性的原则，尽量使用private 的就使用private 修饰，因为这样可以做到数据的隐藏
在class 中可以定义方法可以定义Static 方法 ， 和普通方法
更具体的说 class 是一种将所有数据类型的聚集，而
转载
2012-10-07 12:39:47
411阅读
模块模块是PowerShellV2中引入的概念，用以改进之前提出的“管理单元”。将管理单元也作为模块（二进制模块）处理之后，PowerShell中就包括两种模块——脚本模块和二进制模块。脚本模块是在PowerShellV2中与模块一起提出的概念，完全由PowerShell语法和环境编写，不需要使用其他编译语言或者开发环境。脚本模块是现在编写PowerShell模块时推荐的方法.注意:在PowerS
原创
2013-11-14 17:20:37
754阅读
模块模块是PowerShell V2中引入的概念，用以改进之前提出的“管理单元”。将管理单元也作为模块（二进制模块）处理之后，PowerShell中就包括两种模块——脚本模块和二进制模块。脚本模块是在PowerShell V2中与模块一起提出的概念，完全由PowerShell语法和环境编写，不需要使用其他编译语言或者开发环境。脚本模块是现在编写PowerShell模块时推荐的方
原创
2014-02-26 18:40:21
885阅读
计算机的组成单元：运算器、控制器、存储器、输出设备、输入设备五个单元。（如图）运算器：主要负责程序的运算和逻辑判断控制器：主要协调各周边器件与各单元间的工作存储器：主要存放当前正在执行的数据和程序其中运算器和控制器组合为中央处理器（CPU），CPU读取的数据从存储器获取，并且处理完毕的数据也必须先存放到存储器里。CPU内部有指令集，CPU通过指令集的分类分为：精简指令集系统和复杂指令集系统精简指令
原创
2014-10-19 23:28:36
626阅读
