一、Spark是什么1、与Hadoop的关系如今Hadoop已经不能狭义地称它为软件了，Hadoop广泛的说可以是一套完整的生态系统，可以包括HDFS、Map-Reduce、HBASE、HIVE等等。。而Spark是一个计算框架，注意，是计算框架 其可以运行在Hadoop之上，绝大部分情况下是基于HDFS说代替Hadoop其实是代替Hadoop中的Map-Reduce，用来解决Map-Reduc
转载
2023-08-21 10:57:07
158阅读
什么是Spark？可能你很多年前就使用过Spark，反正当年我四六级单词都是用的星火系列，没错，星火系列的洋名就是Spark。当然这里说的Spark指的是Apache Spark，Apache Spark™is a fast and general engine for large-scale data processing： 一种快速通用可扩展的数据分析引擎。如果想要搞清楚Spark是什么，那么
转载
2023-08-13 23:12:17
133阅读
负载均衡建立在现有网络结构之上，提供了一种廉价有效透明的方法来扩展网络设备和服务器的带宽、增加吞吐量、加强网络数据处理能力、提高网络的灵活性和可用性。负载均衡（Load Balance）其意思就是分摊到多个操作单元上进行执行，例如Web服务器、FTP服务器、企业关键应用服务器和其它关键任务服务器等，从而共同完成工作任务。负载均衡的常见应用场景包括：Web应用：在Web应用中，负载均衡器可以将请求分
转载
2024-04-21 18:55:34
43阅读
ar和tar有啥区别ar和tar这两个命令都用于创建归档文件（archive files），感觉上可以替代使用，实则不然。从历史上看，tar主要用于优化磁带文件，对磁带文件做归档。而ar主要对普通文件做归档。据说还有个命令叫dar，主要对磁盘做归档，但是从来没见人用过。目前来说主要区别是，tar用于对目录结构做归档，这样更适合互联网上源码包的分发，像tarball。ar更适合将分散的文件归档成as
转载
2024-01-10 11:57:42
336阅读
1.1.1. Application/App：Spark应用程序 指的是用户编写的Spark应用程序/代码，包含了Driver功能代码和分布在集群中多个节点上运行的Executor代码。 Spark应用程序，由一个或多个作业JOB组成(因为代码中可能会调用多次Action)，如下图所示:
&
转载
2023-08-07 15:52:28
246阅读
1.包（package） 包(package) 用于管理程序中的类，主要用于解决类的同名问题。包也可以看成一个目录。 包的作用命名冲突。类组成一个单元(模块),便于管理和维护。 [3] 更好的保护类、属性和方法 。1.1 如何定义包使用package进行定义，应放在源文件有效代码的第一句。// package 路径 包的命名原则：始终保持类的全路径唯一。
转载
2024-03-20 10:21:27
101阅读
from:http://baike.baidu.com/link?url=j0TyI7L144iWLD6lYk6Fs9tCrbW22YcJZds6DnnL0aPujTDKOTSf9iiMlwMA3j-S CIE（Commission Internationale de L'Eclairage）：国际照明委员会，根据其法语名称简写为CIE。其前身是1900年成立的
转载
2024-03-10 21:38:53
126阅读
Docker是目前非常流行的容器化技术，而在使用Docker过程中，有一个常用的命令是docker load -i。这个命令主要用于将一个本地镜像文件加载到Docker引擎中，供后续使用。在本篇文章中，我将详细介绍docker load -i命令的用法，以及具体的操作步骤和示例代码。
### Docker load -i是什么意思？
在Docker中，我们通常会使用docker save命令将
原创
2024-05-23 10:03:45
1872阅读
区别：docker load命令导入镜像库存储文件到本地镜像库；docker import命令导入一个容器快照到本地镜像库。容器快照将会丢弃所有的历史记录和元数据信息，而镜像存储文件将保存完整记录，体积也会更大。首先，想要清楚的了解docker load与docker import命令的区别，就必须了解镜像与容器的区别：镜像：用来启动容器的只读模板，是容器启动所需的rootfs，类似于虚拟机所使用
转载
2023-07-18 18:26:33
166阅读
Mysql的高可用MHA实现 环境：rhel6.5 Server1：172.25.66.1 master Server2：172.25.66.2 Candicate slave Server3：172.25.66.3 slave Server4: 172.25.66.4 monitor Server1是master，Server2和server3是server1的slave,其中mas
很多时候，大家可能都觉得程序员英文一定很好。因为我们每天都对着满屏幕的英文，噼里啪啦一整天。讨论个需求，还是不是冒几个单词，产品MM和运营JJ们：能不能讲人话！很多时候，我们自信满满的说出一个又一个高大上的操作名、技术名，看似装逼成功！但是我们都说对了吗？下面，我们一起来重现一下这些场景，看看你都对了几个？第一轮单词一：ArchiveArchive：档案、归档。常见于一些管理
转载
2023-09-15 22:50:48
37阅读
01-Flink是什么背景 2010年到2014年，由柏林工业大学、柏林洪堡大学和哈所普特拉纳研究所联合发起名为“Stratosphere”的研究项目；早期主要关注批处理；2014年4月，Stratosphere代码被贡献给Apache软件基金会，称为Apache基金还孵化器项目。在项目孵化期间，更名为Flink。Flink在德语中是快速和灵敏的意思，用棕红色松鼠作为Flink项目Logo，用来体
转载
2024-03-16 00:32:59
43阅读
Spark一种基于内存的通用的实时大数据计算框架(作为MapReduce的另一个更优秀的可选的方案)通用：Spark Core 用于离线计算，Spark SQL 用于交互式查询，Spark Streaming 用于实时流式计算，Spark Mlib 用于机器学习，Spark GraphX 用于图计算实时：Run programs up to 100x faster than Hadoop MapR
转载
2023-06-19 05:47:51
139阅读
第三方支付公司的线下支付手段便是随处可见的终端。现在称之为POS（Point of Sales）也称之为刷卡机 简称POS终端，终端通过电话线拨号的方式将信息首先发送到银联的平台，银联平台识别相关信息之后会将扣款信息发送到发卡银行，经发卡银行确认之后，再回发信息至银联平台，银联确认之后，会再将已处理的信息发送至前置终端，终端收到确认后的信息，然后打印单据。移动POS终端，原理一样，其信息
转载
2024-04-28 16:29:31
17阅读
一、Hadoop是什么1、Hadoop是一个由Apache基金会所开发的分布式系统基础框架 2、主要解决，海量数据的存储和海量数据的分析计算问题 3、广义上来说，Hadoop通常是指一个更广泛的概念–hadoop生态圈二、Hadoop发展历史1、 Lucene框架是Doug Cutting开创的开源软件，用Java书写代码，实现与Google类似的全文搜索功能，它提供了全文检索引擎的架构，包括完整
转载
2023-07-12 15:00:32
156阅读
Docker的一些理解（二)百度百科Docker 是一个开源的应用容器引擎，让开发者可以打包他们的应用以及依赖包到一个可移植的容器中,然后发布到任何流行的Linux或Windows操作系统的机器上,也可以实现虚拟化,容器是完全使用沙箱机制,相互之间不会有任何接口。一个完整的Docker有以下几个部分组成：DockerClient客户端Docker Daemon守护进程Docker Image镜像D
转载
2024-06-20 15:38:31
23阅读
文章目录1. docker1.1. 什么是docker1.2. Docker 的组成：1.3. Docker 对比虚拟机： 1. docker官网：docker.io容器，是一种工具，如同箱子，可以放入想要的东西、物品，方便我们运输、存储。IT技术中的容器也是如此。容器技术是虚拟化、云计算、大数据后的一门新兴的新技术，容器技术提高了硬件资源利用率、 方便了企业的业务快速横向扩容、 实现了业务宕机
转载
2023-07-11 13:16:52
215阅读
这篇文章是 Linux 命令学习系列的一部分。zip 文件是一个包含一个或多个文件的压缩档案。它作为一种无损数据压缩技术被广泛使用。由于压缩，它占用的磁盘空间更少，在计算机网络上传输时需要的数据也更少。这些压缩文件可以在 Linux、Windows 和 macOS 中轻松提取。有各种支持压缩 zip 文件的软件，也提供提取它们的功能。由于它很流行，几乎所有的操作系统都内置了这个功能。在本
转载
2023-12-06 07:12:34
404阅读
If you are a computer network or security enthusiast, you’ve probably heard of Wireshark. Wireshark is the world’s most popular network protocol analyzer. It lets you dive into captured traffic and an
转载
2024-05-22 06:05:49
27阅读
什么是javaBean？ JavaBeans是Java中一种特殊的类，可以将多个对象封装到一个对象（bean）中。特点是可序列化，提供无参构造器，提供getter方法和setter方法访问对象的属性。名称中的“Bean”是用于Java的可重用软件组件的惯用叫法。 Bean的中文含义是“豆子”
转载
2023-06-28 13:13:10
174阅读
