概述： Spark是一个基于内存计算的开源集群计算系统，目的是让数据分析更加快速。 Spark非常小巧玲珑，由加州伯克利大学AMP实验室的小团队开发。使用的语言 是Scala，项目的core部分的代码只有63个Scala文件。（AMP实验室名字有点意思：Algorithm Machine People，算法、机器、人） &nbs
shared_ptr是一种智能指针(smart pointer)。shared_ptr的作用有如同指针，但会记录有多少个shared_ptrs共同指向一个对象。这便是所谓的引用计数(reference counting)。一旦最后一个这样的指针被销毁，也就是一旦某个对象的引用计数变为0，这个对象会被自动删除。这在非环形数据结构中防止资源泄露很有帮助。auto_ptr由于它的破坏性复制语义，无法满足
Redis概述及数据类型Redis是什么？Redis（Remote Dictionary Server )，即远程字典服务，是一个开源的使用ANSI C语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库，并提供多种语言的API。是一个高性能的key-value数据库。 redis的出现，很大程度补偿了memcached这类key/value存储的不足，在部 分场合可以对关系
转载
2023-08-31 18:54:40
92阅读
from:http://baike.baidu.com/link?url=j0TyI7L144iWLD6lYk6Fs9tCrbW22YcJZds6DnnL0aPujTDKOTSf9iiMlwMA3j-S CIE（Commission Internationale de L'Eclairage）：国际照明委员会，根据其法语名称简写为CIE。其前身是1900年成立的
1．微处理器(microprocessor)微处理器简称μP。微处理器本身不具有完整运行功能的计算机．它是一种大规模集成电路部件。微处理器具有传统的中央处理器(CPU)的功能，它可用作小型计算机或微型计算机的运算和控制部分。通常，微处理器包括以下3个基本部分。(1)运算器 它是能执行算术运算与基本逻辑运算的算术逻辑部件(ALU)。(2)寄存器 每个微处理器含有多个寄存器，用来存放操作数、中间结果以
1.1.1. Application/App：Spark应用程序 指的是用户编写的Spark应用程序/代码，包含了Driver功能代码和分布在集群中多个节点上运行的Executor代码。 Spark应用程序，由一个或多个作业JOB组成(因为代码中可能会调用多次Action)，如下图所示:
&
转载
2023-08-07 15:52:28
186阅读
ar和tar有啥区别ar和tar这两个命令都用于创建归档文件（archive files），感觉上可以替代使用，实则不然。从历史上看，tar主要用于优化磁带文件，对磁带文件做归档。而ar主要对普通文件做归档。据说还有个命令叫dar，主要对磁盘做归档，但是从来没见人用过。目前来说主要区别是，tar用于对目录结构做归档，这样更适合互联网上源码包的分发，像tarball。ar更适合将分散的文件归档成as
很多时候，大家可能都觉得程序员英文一定很好。因为我们每天都对着满屏幕的英文，噼里啪啦一整天。讨论个需求，还是不是冒几个单词，产品MM和运营JJ们，心理几万头曹尼玛奔过：能不能讲人话！很多时候，我们自信满满的说出一个又一个高大上的操作名、技术名，看似装逼成功！但是我们都说对了吗？下面，我们一起来重现一下这些场景，看看你都对了几个？第一轮单词一：ArchiveArchive：档案、归档。常见于一些管理
转载
2023-09-15 22:50:48
0阅读
Spark的作业和任务调度系统是其核心，它能够有效地进行调度的根本原因是对任务的划分DGG和容错。下面我们介绍一下相关术语：作业（Job）：RDD中由行动操作所生成的一个或者多个调度阶段调度阶段（Stage）：每个作业会因为RDD之间的依赖关系拆分成多组任务集合，称为调度阶段，也叫做任务集合（TaskSet）。调度阶段的划分是由DAGScheduler俩划分的，调度阶段由ShuffleMapSta
1、什么是Spark？官网：http://spark.apache.org 翻译：Spark是一个针对大规模数据处理的统一分析引擎Spark是一种快速、通用、可扩展的大数据分析引擎，2009年诞生于加州大学伯克利分校AMPLab，2010年开源，2013年6月成为Apache孵化项目，2014年2月成为Apache顶级项目。目前，Spark生态系统已经发展成为一个包含多个子项目的集合，其中包含Sp
转载
2023-08-11 19:09:19
111阅读
什么是DI 在学习Spring框架的时候，我们总是能见到IOC这个单词，也时常听到DI这个词，那么他们分别是什么意思呢？接下来就讲讲个人对于这两个概念的理解 一、IOC和DI概念 IOC（控制反转）：全称为：Inverse of Control。从字面上理解就是控制反转了，将对在自身对象中的一个内置对象的控制反转，反转后不再由自己本身的对象进行控制这
swap 原理swap 就是内存交换的意思。计算机对内存分为物理内存与虚拟内存。物理内存就是计算机的实际内存大小，虚拟内存则是从磁盘空间开辟出一部分内存空间虚拟出来的，所以也叫磁盘缓存。虚拟内存的出现，让机器内存不够的情况得到部分解决。程序运行的时候系统会在虚拟内存与物理内存直接进行替换和加载。这里的虚拟内存就是 swap。进程运行的时候系统会判断当前物理内存是否还有空闲，如果有那么则直接调入内存
转载
2023-07-18 00:04:44
257阅读
Java编程概述一.Java概述 Java出生地：SUN Microsystems Inc. -SUN: Stanford University NetworkJava之父：James Gosling二.Java发展简史 1991年出现 1995年发布三.Java应用程序运行机制 计算机的高级编程语言类型： 编译型：Vc++ Delphi 解释型：PHP JavaScript VBJava是两种类
转载
2023-08-20 12:23:15
325阅读
一、ES简介ES是ElasticSearch的缩写，是一款基于Apache Lucene构建的开源搜索引擎，它采用Java编写并且使用Lucene构建索引、提供搜索功能.ElasticSearch的目标是让全文搜索变得简单，开发者可以通过它简单明了的RestFul Api轻松实现搜索功能，而不必面对Lucene的复杂性。ES能够轻松的进行大规模的横向扩展，以支撑PB级的结构化和非结构化海量数据的处
一直以来，BBS上的信息资料都传达给我一个网上“主流”的关于CV和resume的看法：CV约等于Resume，前者略倾向于学术，后者略倾向于工作经验，字数控制在1-2页内说实话，一直以来我也就这么认为的，我早早的按照大多数人推荐的格局写好了我的CV(或者说resume)，格局和内容就是传统的Education, Research Experience, Skills, Standard Test等
【PMP中文是什么意思】—— 深入解析PMP考试与认证
PMP，即项目管理专业人士（Project Management Professional），是国际公认的项目管理领域最高级别的认证。PMP认证表明持证者具备了高效管理项目的知识和技能，能够在复杂多变的项目环境中应对自如，确保项目的成功实施。对于项目管理从业者来说，获得PMP认证不仅意味着个人能力的提升，更是职业发展的重要砝码。
一、PM
DevOps（Development和Operations的结合词）是一种软件开发和运维的实践方法，旨在通过自动化和协作来改进软件开发和交付的效率。而在DevOps领域中，OSI（Open Source Initiative，即开源运动组织）推出的Linux操作系统中的一种发行版——红帽Linux（Red Hat Linux）备受广大开发者的青睐。
那么，devops中文究竟是什么意思呢？
首
在介绍之前我不得不说点事情，本人现在从事Java开发也一年有余，这一年来我翻过thinking Java也有十来遍了，但是每次翻阅总有不同体会，记得刚学Java两个月的时候，这本书对我来说纯粹就是催眠，但是就是不懂培训老师一直在给我推荐这本书。现在才发现到这本书确实是本很好很好的书，你阅读就会发现越多，而且你同样会发现在你不同的阶段都，领悟到的也会不一样。&n
转载
2023-08-10 13:01:07
40阅读
这篇文章是 Linux 命令学习系列的一部分。zip 文件是一个包含一个或多个文件的压缩档案。它作为一种无损数据压缩技术被广泛使用。由于压缩，它占用的磁盘空间更少，在计算机网络上传输时需要的数据也更少。这些压缩文件可以在 Linux、Windows 和 macOS 中轻松提取。有各种支持压缩 zip 文件的软件，也提供提取它们的功能。由于它很流行，几乎所有的操作系统都内置了这个功能。在本
什么是javaBean？ JavaBeans是Java中一种特殊的类，可以将多个对象封装到一个对象（bean）中。特点是可序列化，提供无参构造器，提供getter方法和setter方法访问对象的属性。名称中的“Bean”是用于Java的可重用软件组件的惯用叫法。 Bean的中文含义是“豆子”
转载
2023-06-28 13:13:10
137阅读
