概述： Spark是一个基于内存计算的开源集群计算系统，目的是让数据分析更加快速。 Spark非常小巧玲珑，由加州伯克利大学AMP实验室的小团队开发。使用的语言 是Scala，项目的core部分的代码只有63个Scala文件。（AMP实验室名字有点意思：Algorithm Machine People，算法、机器、人） &nbs
Redis概述及数据类型Redis是什么？Redis（Remote Dictionary Server )，即远程字典服务，是一个开源的使用ANSI C语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库，并提供多种语言的API。是一个高性能的key-value数据库。 redis的出现，很大程度补偿了memcached这类key/value存储的不足，在部 分场合可以对关系
转载
2023-08-31 18:54:40
95阅读
shared_ptr是一种智能指针(smart pointer)。shared_ptr的作用有如同指针，但会记录有多少个shared_ptrs共同指向一个对象。这便是所谓的引用计数(reference counting)。一旦最后一个这样的指针被销毁，也就是一旦某个对象的引用计数变为0，这个对象会被自动删除。这在非环形数据结构中防止资源泄露很有帮助。auto_ptr由于它的破坏性复制语义，无法满足
ar和tar有啥区别ar和tar这两个命令都用于创建归档文件（archive files），感觉上可以替代使用，实则不然。从历史上看，tar主要用于优化磁带文件，对磁带文件做归档。而ar主要对普通文件做归档。据说还有个命令叫dar，主要对磁盘做归档，但是从来没见人用过。目前来说主要区别是，tar用于对目录结构做归档，这样更适合互联网上源码包的分发，像tarball。ar更适合将分散的文件归档成as
1.1.1. Application/App：Spark应用程序 指的是用户编写的Spark应用程序/代码，包含了Driver功能代码和分布在集群中多个节点上运行的Executor代码。 Spark应用程序，由一个或多个作业JOB组成(因为代码中可能会调用多次Action)，如下图所示:
&
转载
2023-08-07 15:52:28
186阅读
1．微处理器(microprocessor)微处理器简称μP。微处理器本身不具有完整运行功能的计算机．它是一种大规模集成电路部件。微处理器具有传统的中央处理器(CPU)的功能，它可用作小型计算机或微型计算机的运算和控制部分。通常，微处理器包括以下3个基本部分。(1)运算器 它是能执行算术运算与基本逻辑运算的算术逻辑部件(ALU)。(2)寄存器 每个微处理器含有多个寄存器，用来存放操作数、中间结果以
from:http://baike.baidu.com/link?url=j0TyI7L144iWLD6lYk6Fs9tCrbW22YcJZds6DnnL0aPujTDKOTSf9iiMlwMA3j-S CIE（Commission Internationale de L'Eclairage）：国际照明委员会，根据其法语名称简写为CIE。其前身是1900年成立的
swap 原理swap 就是内存交换的意思。计算机对内存分为物理内存与虚拟内存。物理内存就是计算机的实际内存大小，虚拟内存则是从磁盘空间开辟出一部分内存空间虚拟出来的，所以也叫磁盘缓存。虚拟内存的出现，让机器内存不够的情况得到部分解决。程序运行的时候系统会在虚拟内存与物理内存直接进行替换和加载。这里的虚拟内存就是 swap。进程运行的时候系统会判断当前物理内存是否还有空闲，如果有那么则直接调入内存
转载
2023-07-18 00:04:44
260阅读
1、什么是Spark？官网：http://spark.apache.org 翻译：Spark是一个针对大规模数据处理的统一分析引擎Spark是一种快速、通用、可扩展的大数据分析引擎，2009年诞生于加州大学伯克利分校AMPLab，2010年开源，2013年6月成为Apache孵化项目，2014年2月成为Apache顶级项目。目前，Spark生态系统已经发展成为一个包含多个子项目的集合，其中包含Sp
转载
2023-08-11 19:09:19
111阅读
什么是DI 在学习Spring框架的时候，我们总是能见到IOC这个单词，也时常听到DI这个词，那么他们分别是什么意思呢？接下来就讲讲个人对于这两个概念的理解 一、IOC和DI概念 IOC（控制反转）：全称为：Inverse of Control。从字面上理解就是控制反转了，将对在自身对象中的一个内置对象的控制反转，反转后不再由自己本身的对象进行控制这
转载
2023-10-11 12:26:25
128阅读
Spark的作业和任务调度系统是其核心，它能够有效地进行调度的根本原因是对任务的划分DGG和容错。下面我们介绍一下相关术语：作业（Job）：RDD中由行动操作所生成的一个或者多个调度阶段调度阶段（Stage）：每个作业会因为RDD之间的依赖关系拆分成多组任务集合，称为调度阶段，也叫做任务集合（TaskSet）。调度阶段的划分是由DAGScheduler俩划分的，调度阶段由ShuffleMapSta
【PMP中文是什么意思】—— 深入解析PMP考试与认证
PMP，即项目管理专业人士（Project Management Professional），是国际公认的项目管理领域最高级别的认证。PMP认证表明持证者具备了高效管理项目的知识和技能，能够在复杂多变的项目环境中应对自如，确保项目的成功实施。对于项目管理从业者来说，获得PMP认证不仅意味着个人能力的提升，更是职业发展的重要砝码。
一、PM
很多时候，大家可能都觉得程序员英文一定很好。因为我们每天都对着满屏幕的英文，噼里啪啦一整天。讨论个需求，还是不是冒几个单词，产品MM和运营JJ们，心理几万头曹尼玛奔过：能不能讲人话！很多时候，我们自信满满的说出一个又一个高大上的操作名、技术名，看似装逼成功！但是我们都说对了吗？下面，我们一起来重现一下这些场景，看看你都对了几个？第一轮单词一：ArchiveArchive：档案、归档。常见于一些管理
转载
2023-09-15 22:50:48
0阅读
一、ES简介ES是ElasticSearch的缩写，是一款基于Apache Lucene构建的开源搜索引擎，它采用Java编写并且使用Lucene构建索引、提供搜索功能.ElasticSearch的目标是让全文搜索变得简单，开发者可以通过它简单明了的RestFul Api轻松实现搜索功能，而不必面对Lucene的复杂性。ES能够轻松的进行大规模的横向扩展，以支撑PB级的结构化和非结构化海量数据的处
一直以来，BBS上的信息资料都传达给我一个网上“主流”的关于CV和resume的看法：CV约等于Resume，前者略倾向于学术，后者略倾向于工作经验，字数控制在1-2页内说实话，一直以来我也就这么认为的，我早早的按照大多数人推荐的格局写好了我的CV(或者说resume)，格局和内容就是传统的Education, Research Experience, Skills, Standard Test等
Java编程概述一.Java概述 Java出生地：SUN Microsystems Inc. -SUN: Stanford University NetworkJava之父：James Gosling二.Java发展简史 1991年出现 1995年发布三.Java应用程序运行机制 计算机的高级编程语言类型： 编译型：Vc++ Delphi 解释型：PHP JavaScript VBJava是两种类
转载
2023-08-20 12:23:15
338阅读
什么是NFS ？ NFS 是Network File System的缩写，即网络文件系统。一种使用于分散式文件系统的协定，由Sun公司开发，于1984年向外公布。功能是通过网络让不同的机器、不同的操作系统能够彼此分享个别的数据，让应用程序在客户端通过网络访问位于服务器磁盘中的数据，是在类Unix系统间实现磁盘文件共享的一种方法 它的主要功能是通过网
一、Hadoop是什么1、Hadoop是一个由Apache基金会所开发的分布式系统基础框架 2、主要解决，海量数据的存储和海量数据的分析计算问题 3、广义上来说，Hadoop通常是指一个更广泛的概念–hadoop生态圈二、Hadoop发展历史1、 Lucene框架是Doug Cutting开创的开源软件，用Java书写代码，实现与Google类似的全文搜索功能，它提供了全文检索引擎的架构，包括完整
转载
2023-07-12 15:00:32
111阅读
这篇文章是 Linux 命令学习系列的一部分。zip 文件是一个包含一个或多个文件的压缩档案。它作为一种无损数据压缩技术被广泛使用。由于压缩，它占用的磁盘空间更少，在计算机网络上传输时需要的数据也更少。这些压缩文件可以在 Linux、Windows 和 macOS 中轻松提取。有各种支持压缩 zip 文件的软件，也提供提取它们的功能。由于它很流行，几乎所有的操作系统都内置了这个功能。在本
什么是javaBean？ JavaBeans是Java中一种特殊的类，可以将多个对象封装到一个对象（bean）中。特点是可序列化，提供无参构造器，提供getter方法和setter方法访问对象的属性。名称中的“Bean”是用于Java的可重用软件组件的惯用叫法。 Bean的中文含义是“豆子”
转载
2023-06-28 13:13:10
143阅读
