本博客作为学习黑马的大数据相关内容的学习笔记记录hadoop单机存储能力是有上限的，同时分布式存储提高了传输效率和写入、读取效率、CPU内存等方面的综合提升分布式的基础架构去中心化模式没有特定的中心，众多服务器之间基于特定规则进行同步协调中心化模式存在一个中心服务器，其余服务器听从统一结点的调度大部分的架构都是中心化的，主从模式，Hadoop就是典型的中心化架构的技术框架HDFS基础架构HDFS：
1.1 Hadoop概念：hadoop是一个由Apache基金会所开发的分布式系统基础架构。是根据google发表的GFS(Google File System)论文产生过来的。优点： 1. 它是一个能够对大量数据进行分布式处理的软件框架。以一种可靠、高效、可伸缩的方式进行数据
转载
2023-07-17 13:27:05
422阅读
1 Hadoop是什么 Hadoop原来是Apache Lucene下的一个子项目，它最初是从Nutch项目中分离出来的专门负责分布式存储以及分布式运算的项目。简单地说来，Hadoop是一个可以更容易开发和运行处理大规模数据的软件平台。下面列举hadoop主要的一些特点： 1&nb
转载
2024-04-19 16:41:18
31阅读
一，基本分区1，磁盘/硬盘/disk/简介1.1 类型按工作原理区分机械机械硬盘即是传统普通硬盘，主要由：盘片，磁头，盘片转轴及控制电机，磁头控制器， 数据转换器，接口， 缓存等几个部分组成。 固态SSD的优势 SSD是摒弃传统磁介质，采用电子存储介质进行数据存储和读取的一种技术，突破了传统机械硬盘的性能瓶颈，拥有极高的存储性能，被认为是存储技术发展的未来新星。 &nb
转载
2024-05-20 10:56:21
87阅读
. 01 .分片是什么1.1 分片解决区块链的扩容问题 目前区块链的扩容方案主要分为三个不同的Layer.分片和DAG (有向无环图)同属对区块链本身架构进行改变的Layer 1。分片目前被关注的热度很高，主打分片技术的公链被投资机构热捧, 分片也和Layer 2的侧链、子链、状态通道等方向一起被列入以太坊官方的扩容方案。 1.2 分片的原理分片其实是一种
摘要：Swift发展已有一年多的时间，越来越多的开发者开始学习和使用这门语言，但在实际项目中的应用却还是比较少。本文作者从Swift的语义逻辑、易用性、语言特性、与Cocoa交互等全方位分享如何在实际工程中使用Swift开发。
简介 Swift语言从WWDC2014发布开始，到现在已经发展了一年多时间，越来越多的开发者也开始学习和使用这门语言。但就我所了解的情况来看，在实际项目中Swi
转载
2023-09-26 20:08:23
3阅读
Spring中的编程思想总结Spring 中的编程思想总结如下表所示：Spring思想应用场景（特点）一句话概括OOPObject Oriented Programming(面向对象编程)，用程序归纳总结生活中一切事务封装、继承、多态BOPBean Oriented Programming（面向Bean编程），面向Bean(普通的Java类)设计程序，解放程序员一切从Bean开始AOPAspect
组织形态是指由组织中纵向的等级关系及其沟通关系，横向的分工协作关系及其沟通关系而形成的一种无形的、相对稳定的企业构架。它反映组织成员之间分工协作关系，体现了一种分工和协作框架。可以说，组织形态就是组织结构的“模式”。掌握组织结构模式，有助于构建通用的人员和组织结构模型 。本文介绍各种常见的组织形态。传统的组织结构模式最初为直线式，随着规模的不断扩大，逐步发展出直线职能式、事业部式；而随着外部环境的
转载
2023-07-30 10:43:32
3177阅读
1. Lightweight M2M 基础，谁搞出来的OMA是一家国际组织，因为物联网的兴起， OMA在传统的OMA-DM协议基础之上，提出了LWM2M协议。这个协议基于COAP协议，COAP协议基于UDP协议。2. lwm2m怎么组成，有3个设备（或者叫做逻辑实体），客户端设备，引导服务器，工作服务器LWM2M Server 工作服务器 LWM2M client 客
加密算法分为对称算法和非对称算法两种，RSA属于应用最为广泛的非对称加密算法。其基本安全原理是建立在大素数因子很难分解的基础上，属于分组密码体制。简单的说：知道两个质数，求出它们的乘积，很容易；但知道一个整数，分解成两个质数就很复杂了。RSA是非对称加密算法，加密与解密的密钥不同，有别于DES这类对称算法。RSA主要缺点是产生密钥受到素数产生技术的限制；密钥分组长度较长，运算速度较低。RSA算法也
文章目录一、Ansible介绍和安装１、Ansible介绍２、工作原理３、Anible的安装方法二、管理节点与被管理节点建立SSH信任关系三、快速入门四、Ansible资产管理１、静态资产２、自定义资产示例３、Ansible自定义资产的写法４、自定义资产的错误写法总结５、查看和使用自定义资产６、Ansible资产管理器pattern五、Ansible Ad-hoc命令Ansible的模块：核心模
HDFS架构 简介 Hadoop Distributed File System (HDFS)是一种运行于商业硬件上的分布式文件系统。它与现在流行的一些分布式文件系统有很多相似的地方。 而其与其他系统的区别之处又显得极其重要。HDFS是一个容错性高，为应用于廉价硬件之上而设计。HDFS提供了对应用数据的高吞吐量能力，适合大数据集应用场景。HDFS降低了流式访问文件系统数据的POSIX协
转载
2023-11-29 21:40:30
82阅读
加密算法分为对称算法和非对称算法两种，RSA属于应用最为广泛的非对称加密算法。其基本安全原理是建立在大素数因子很难分解的基础上，属于分组密码体制。简单的说：知道两个质数，求出它们的乘积，很容易；但知道一个整数，分解成两个质数就很复杂了。RSA是非对称加密算法，加密与解密的密钥不同，有别于DES这类对称算法。RSA主要缺点是产生密钥受到素数产生技术的限制；密钥分组长度较长，运算速度较低。RSA算法也
加密算法分为对称算法和非对称算法两种，RSA属于应用最为广泛的非对称加密算法。其基本安全原理是建立在大素数因子很难分解的基础上，属于分组密码体制。简单的说：知道两个质数，求出它们的乘积，很容易；但知道一个整数，分解成两个质数就很复杂了。RSA是非对称加密算法，加密与解密的密钥不同，有别于DES这类对称算法。RSA主要缺点是产生密钥受到素数产生技术的限制；密钥分组长度较长，运算速度较低。RSA算法也
Hadoop雏形开始于2002年的Apache的Nutch，Nutch是一个开源Java 实现的搜索引擎。它提供了我们运行自己的搜索引擎所需的全部工具。包括全文搜索和Web爬虫。 随后在2003年Google发表了一篇
转载
2024-09-09 16:06:32
153阅读
加密算法分为对称算法和非对称算法两种，RSA属于应用最为广泛的非对称加密算法。其基本安全原理是建立在大素数因子很难分解的基础上，属于分组密码体制。简单的说：知道两个质数，求出它们的乘积，很容易；但知道一个整数，分解成两个质数就很复杂了。RSA是非对称加密算法，加密与解密的密钥不同，有别于DES这类对称算法。RSA主要缺点是产生密钥受到素数产生技术的限制；密钥分组长度较长，运算速度较低。RSA算法也
TD-LTE即TD-SCDMA Long Term Evolution，宣传是是指TD-SCDMA的长期演进 。 实际上没有关系。TD-LTE是TDD版本的LTE的技术，FDD-LTE的技术是FDD版本的LTE技术。TDD和FDD的差别就是TD采用的是不对称频率是用时间进行双工的，而FDD是采用一对频率来进行双工。 TD-SCDMA是CDMA技术，TD-LTE是OFDM技术，不能对接。TD-LTE
转载
2024-05-15 11:58:45
215阅读
还是按照以前写blog的三部曲思路：先列出相应的知识要点与原理解释，再记录操作中遇到的疑惑与问题及其解答与解决方案，最后谈谈感想。首先介绍一下MPI背景与一个简单例子MPI全称是message passing interface，即信息传递接口，是用于跨节点通讯的基础软件环境。它提供让相关进程之间进行通信，同步等操作的API，可以说是并行计算居家出游必备的基础库。一个 MPI 程序包含若干个进程。
转载
2024-04-02 09:54:47
206阅读
系统集成是一个以用户需求为导向，将各个分离的软硬件系统、网络、应用及数据信息等整合成为一个统一、高效、协调的整体系统的过程。这个过程涉及到多个领域的知识和技术，包括计算机技术、通信技术、网络技术、数据库技术等。作为软考中的重要考点，系统集成的定义及特点对于考生来说具有重要意义。
首先，我们来简述系统集成的定义。系统集成并非简单地将各个系统进行物理上的连接或叠加，而是要通过深入分析用户需求，明确系
原创
2024-05-28 18:32:29
80阅读
VXLAN 是非常新的一个 tunnel 技术，它是一个 L2 tunnel。Linux 内核的 upstream 中也刚刚加入 VXLAN 的实现。相比 GRE tunnel 它有着很的扩展性，同时解决了很多其它问题。一，GRE tunnel 的不足网络很多介绍 VXLAN 的文章都没有直接告诉你相比较 GRE tunnel，VXLAN 的优势在哪里，或者说 GRE tunnel 的不
