什么是Spark？可能你很多年前就使用过Spark，反正当年我四六级单词都是用的星火系列，没错，星火系列的洋名就是Spark。当然这里说的Spark指的是Apache Spark，Apache Spark™is a fast and general engine for large-scale data processing： 一种快速通用可扩展的数据分析引擎。如果想要搞清楚Spark是什么，那么
转载
2023-08-13 23:12:17
109阅读
一、Spark是什么1、与Hadoop的关系如今Hadoop已经不能狭义地称它为软件了，Hadoop广泛的说可以是一套完整的生态系统，可以包括HDFS、Map-Reduce、HBASE、HIVE等等。。而Spark是一个计算框架，注意，是计算框架 其可以运行在Hadoop之上，绝大部分情况下是基于HDFS说代替Hadoop其实是代替Hadoop中的Map-Reduce，用来解决Map-Reduc
转载
2023-08-21 10:57:07
133阅读
1.包（package） 包(package) 用于管理程序中的类，主要用于解决类的同名问题。包也可以看成一个目录。 包的作用命名冲突。类组成一个单元(模块),便于管理和维护。 [3] 更好的保护类、属性和方法 。1.1 如何定义包使用package进行定义，应放在源文件有效代码的第一句。// package 路径 包的命名原则：始终保持类的全路径唯一。
ar和tar有啥区别ar和tar这两个命令都用于创建归档文件（archive files），感觉上可以替代使用，实则不然。从历史上看，tar主要用于优化磁带文件，对磁带文件做归档。而ar主要对普通文件做归档。据说还有个命令叫dar，主要对磁盘做归档，但是从来没见人用过。目前来说主要区别是，tar用于对目录结构做归档，这样更适合互联网上源码包的分发，像tarball。ar更适合将分散的文件归档成as
1.1.1. Application/App：Spark应用程序 指的是用户编写的Spark应用程序/代码，包含了Driver功能代码和分布在集群中多个节点上运行的Executor代码。 Spark应用程序，由一个或多个作业JOB组成(因为代码中可能会调用多次Action)，如下图所示:
&
转载
2023-08-07 15:52:28
186阅读
1．微处理器(microprocessor)微处理器简称μP。微处理器本身不具有完整运行功能的计算机．它是一种大规模集成电路部件。微处理器具有传统的中央处理器(CPU)的功能，它可用作小型计算机或微型计算机的运算和控制部分。通常，微处理器包括以下3个基本部分。(1)运算器 它是能执行算术运算与基本逻辑运算的算术逻辑部件(ALU)。(2)寄存器 每个微处理器含有多个寄存器，用来存放操作数、中间结果以
from:http://baike.baidu.com/link?url=j0TyI7L144iWLD6lYk6Fs9tCrbW22YcJZds6DnnL0aPujTDKOTSf9iiMlwMA3j-S CIE（Commission Internationale de L'Eclairage）：国际照明委员会，根据其法语名称简写为CIE。其前身是1900年成立的
很多时候，大家可能都觉得程序员英文一定很好。因为我们每天都对着满屏幕的英文，噼里啪啦一整天。讨论个需求，还是不是冒几个单词，产品MM和运营JJ们，心理几万头曹尼玛奔过：能不能讲人话！很多时候，我们自信满满的说出一个又一个高大上的操作名、技术名，看似装逼成功！但是我们都说对了吗？下面，我们一起来重现一下这些场景，看看你都对了几个？第一轮单词一：ArchiveArchive：档案、归档。常见于一些管理
转载
2023-09-15 22:50:48
0阅读
01-Flink是什么背景 2010年到2014年，由柏林工业大学、柏林洪堡大学和哈所普特拉纳研究所联合发起名为“Stratosphere”的研究项目；早期主要关注批处理；2014年4月，Stratosphere代码被贡献给Apache软件基金会，称为Apache基金还孵化器项目。在项目孵化期间，更名为Flink。Flink在德语中是快速和灵敏的意思，用棕红色松鼠作为Flink项目Logo，用来体
Spark一种基于内存的通用的实时大数据计算框架(作为MapReduce的另一个更优秀的可选的方案)通用：Spark Core 用于离线计算，Spark SQL 用于交互式查询，Spark Streaming 用于实时流式计算，Spark Mlib 用于机器学习，Spark GraphX 用于图计算实时：Run programs up to 100x faster than Hadoop MapR
转载
2023-06-19 05:47:51
119阅读
第三方支付公司的线下支付手段便是随处可见的终端。现在称之为POS（Point of Sales）也称之为刷卡机 简称POS终端，终端通过电话线拨号的方式将信息首先发送到银联的平台，银联平台识别相关信息之后会将扣款信息发送到发卡银行，经发卡银行确认之后，再回发信息至银联平台，银联确认之后，会再将已处理的信息发送至前置终端，终端收到确认后的信息，然后打印单据。移动POS终端，原理一样，其信息
一、Hadoop是什么1、Hadoop是一个由Apache基金会所开发的分布式系统基础框架 2、主要解决，海量数据的存储和海量数据的分析计算问题 3、广义上来说，Hadoop通常是指一个更广泛的概念–hadoop生态圈二、Hadoop发展历史1、 Lucene框架是Doug Cutting开创的开源软件，用Java书写代码，实现与Google类似的全文搜索功能，它提供了全文检索引擎的架构，包括完整
转载
2023-07-12 15:00:32
111阅读
Docker的一些理解（二)百度百科Docker 是一个开源的应用容器引擎，让开发者可以打包他们的应用以及依赖包到一个可移植的容器中,然后发布到任何流行的Linux或Windows操作系统的机器上,也可以实现虚拟化,容器是完全使用沙箱机制,相互之间不会有任何接口。一个完整的Docker有以下几个部分组成：DockerClient客户端Docker Daemon守护进程Docker Image镜像D
文章目录1. docker1.1. 什么是docker1.2. Docker 的组成：1.3. Docker 对比虚拟机： 1. docker官网：docker.io容器，是一种工具，如同箱子，可以放入想要的东西、物品，方便我们运输、存储。IT技术中的容器也是如此。容器技术是虚拟化、云计算、大数据后的一门新兴的新技术，容器技术提高了硬件资源利用率、 方便了企业的业务快速横向扩容、 实现了业务宕机
转载
2023-07-11 13:16:52
191阅读
概述： Spark是一个基于内存计算的开源集群计算系统，目的是让数据分析更加快速。 Spark非常小巧玲珑，由加州伯克利大学AMP实验室的小团队开发。使用的语言 是Scala，项目的core部分的代码只有63个Scala文件。（AMP实验室名字有点意思：Algorithm Machine People，算法、机器、人） &nbs
这篇文章是 Linux 命令学习系列的一部分。zip 文件是一个包含一个或多个文件的压缩档案。它作为一种无损数据压缩技术被广泛使用。由于压缩，它占用的磁盘空间更少，在计算机网络上传输时需要的数据也更少。这些压缩文件可以在 Linux、Windows 和 macOS 中轻松提取。有各种支持压缩 zip 文件的软件，也提供提取它们的功能。由于它很流行，几乎所有的操作系统都内置了这个功能。在本
什么是javaBean？ JavaBeans是Java中一种特殊的类，可以将多个对象封装到一个对象（bean）中。特点是可序列化，提供无参构造器，提供getter方法和setter方法访问对象的属性。名称中的“Bean”是用于Java的可重用软件组件的惯用叫法。 Bean的中文含义是“豆子”
转载
2023-06-28 13:13:10
143阅读
If you are a computer network or security enthusiast, you’ve probably heard of Wireshark. Wireshark is the world’s most popular network protocol analyzer. It lets you dive into captured traffic and an
什么是AES？高级加密标准（英语：Advanced Encryption Standard，缩写：AES），是一种区块加密标准。这个标准用来替代原先的DES，已经被多方分析且广为全世界所使用。那么为什么原来的DES会被取代呢，，原因就在于其使用56位密钥，比较容易被破解。而AES可以使用128、192、和256位密钥，并且用128位分组加密和解密数据，相对来说安全很多。完善的加密算法在理论上是无法
转载
2023-08-21 10:25:55
0阅读
一、什么是shellShell中文意思贝壳, 寓意类似内核的壳。Shell是指一种应用程序, 这个应用程序提供了一个界面, 用户通过这个界面访问操作系统内核的服务, 简而言之就是只要能够操作应用程序的接口都能够称为SHELL。狭义的shell指的是命令行方面的软件, 广义的SHELL则包括图形界面。Shell是一个用 C 语言编写的程序, 它是用户使用 Linux 的桥梁。Shell既是一种命令语
