Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），其中一个组件是HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high thr
转载
2023-07-14 19:14:52
48阅读
二、Hadoop 核心组件2.1、Apache Hadoop简介Apache Hadoop是一套用于在由通用硬件构建的大型集群上运行应用程序的框架。它实现了Map/Reduce编程范型，计算任务会被分割成小块（多次）运行在不同的节点上。除此之外，它还提供了一款分布式文件系统（HDFS），数据被存储在计算节点上以提供极高的跨数据中心聚合带宽。优点： 高可靠性、高扩展性、高效性、高容错性、低成本2.2
转载
2023-07-19 20:36:08
44阅读
兵马未动，粮草先行 ——汉语成语系列文章目录Hadoop集群搭建之Linux系统安装 Hadoop集群搭建之Hadoop组件安装 文章目录系列文章目录前言一、IP和主机名称配置（一）Hadoop服务器（二）VMware（三）Window二、配置远程连接总结 前言记录自己在家用电脑利用虚拟机搭建Hadoop集群的具体过程，分享我遇到的坑，如有错误，请各位小伙伴指正，持续更新中。一、IP和主机名称配置
Hadoop是一种分布式数据和计算的框架。序列化机制，支持多语言交互// 特点
数据并行，处理串行！生态圈组件：HDFS：是一个高度容错性的系统，提供高吞吐量的数据访问，突破硬盘大小的限制，适合大规模数据集上的应用，可为yarn和Hbase服务。Yarn：通用的资源协同任务调度框架，解决namenode负载太大和其他问题，提高资源利用率，具有良好的扩展性，可用性，可靠性，向后兼容性。在YARN中，
转载
2023-08-18 19:40:25
47阅读
认知和学习Hadoop，我们必须得了解Hadoop的构成，我根据自己的经验通过Hadoop构件、大数据处理流程，Hadoop核心三个方面进行一下介绍：一、 Hadoop组件由图我们可以看到Hadoop组件由底层的Hadoop核心构件以及上层的Hadoop生态系统共同集成，而上层的生态系统都是基于下层的存储和计算来完成
Hadoop是什么大白话，Hadoop是个存储数据，计算数据的分布式框架。核心组件是HDFS、MapReduce、Yarn。HDFS：分布式存储MapReduce：分布式计算Yarn：调度MapReduce现在为止我们知道了HDFS、MapReduce、Yarn是干啥的，下面通过一张图再来看看他的整体架构。HDFSHDFS是Hadoop的存储系统，将庞大的数据存储在多台机器上，并通过数据副本冗余实
转载
2023-05-26 16:23:20
206阅读
第一部分 activity组件安全首先我们介绍下我们常见的Android的activity组件：Activity是Android四大组件之一，它用于展示界面。Activity是一个应用程序组件，提供一个屏幕，用户可以用来交互为了完成某项任务。Activity中所有操作都与用户密切相关，是一个负责与用户交互的组件，可以通过setContentView(View)来显示指定控件。在一个android应
【前端安全】传输安全传输安全HTTP传输窃听：过程：浏览器<->代理服务器<->链路<->服务器在代理服务器和链路这过程中，可能会造成传输链路窃听篡改。因为HTTP是明文传输的，不会加密。可以通过tracert www.baidu.com代理软件：anyproxyHTTP窃听：窃听用户密码窃听传输敏感信息非法获取个人资料HTTP篡改插入广告重定向网站无法防御的X
原创
2023-10-23 16:05:16
30阅读
通过阅读本篇文章你可以了解到：
1、为什么要有HTTPS；
2、TLS1.2 握手的过程。
原创
精选
2023-03-13 12:18:58
476阅读
在进行讲解之前，先带大家学习下hadoop关于hdfs自己的安全如何实现的 名词： ACL-访问控制列表（Access Control List，ACL） ARBAC-基于角色的权限访问控制（Role-Based Access Control） 所有安全体系的了解，大数据平台安全体系的四个层次说起：
原创
2022-06-14 22:08:02
481阅读
一、Hadoop三大组件1.HDFS 分布式文件系统2.MapReduce 分布式离线计算框架3.Yarn 资源调度1.HDFS管理者：NameNode1）作用1.管理整个文件系统的元数据/名字空间/目录树2.管理每一个路径/文件所对应的block块信息3.管理DataNode的心跳日志2）NameNode元数据持久化的2种形式1.EditLog（日志文件）对于文件系统的每一次更改，例如，增加文件
转载
2023-07-12 15:09:51
84阅读
传输安全http 窃听窃听用户密码窃听传输敏感信息非法获取个人资料Windows 下命令行执行 tracert 命令可查看一个请求响应完整走的路径还可以可以用 node 全局安装anyproxy工具来进行操作anyproxy简介AnyProxy 是阿里巴巴基于 Node.js 开发的一款开源代理服务器。代理服务器站在客户端和服务端的中间，它可以收集双方通信的每个比特。一个完整的代理请求过程为：客户
转载
2021-05-17 14:44:26
439阅读
2评论
1. HADOOP背景介绍
1.1 什么是HADOOP1. HADOOP是apache旗下的一套开源软件平台2. HADOOP提供的功能：利用服务器集群，根据用户的自定义业务逻辑，对海量数据进行分布式处理3. HADOOP的核心组件有A. HDFS（分布式文件系统）B. YARN（运算资源调度系统）C. MAPREDUCE（分布式运算编
转载
2023-08-07 17:21:51
112阅读
各种大数据框架近几年发展得如火如荼，比如Hadoop, MapReduce,Hive, Hbase, Storm, Spark, Flink, Kylin 等。一、Hadoop核心组件首先要介绍一下Hadoop，现在Hadoop分为3部分，分别是HDFS，Yarn和Mrv2Hadoop CommonHadoop Common是在Hadoop0.2版本之后分离出来的HDFS和MapReduce独立子
转载
2023-08-18 19:45:40
71阅读
1.hadoop有三个主要的核心组件：HDFS（分布式文件存储）、MAPREDUCE（分布式的计算）、YARN（资源调度），现在云计算包括大数据和虚拟化进行支撑。（hdfs、MAPREDUCE、yarn）大数据处理技术框架，擅长离线数据分析.分布式协调服务基础组件，Hbase 分布式海量数据库，离线分析和在线业务处理。数据仓库工具，使用方便，功能丰富，基于MR延迟大，可以方便对数据的分
转载
2023-11-08 18:32:13
50阅读
1.学习Hadoop之前需要的基础，javaSE（基础），EE(SSM)，Linux基础，因为90%的框架都是用java写的，Hadoop、hive、HBase、下面是Hadoop的有关介绍。2.学习大数据里面最核心的就是Hadoop，我们知道什么是大数据。就是一个非常庞大的数据，计算机无法直接取读取以及分析处理，这个时候就要用到我们学到的大数据。 Hadoo
转载
2023-07-23 17:16:27
82阅读
信息安全的关键技术： （1）加密与解密：对称密钥密码体制（DES算法、IDEA算法）、不对称密码加密算法（RSA密码体制） （2）散列函数与数字签名-MD5散列算法 （3）秘钥分配中心与公钥基础（RA） （4）访问控制：身份认证技术 （5）安全协议：IPsec协议、SSL协议、PGP协议 （6）数据备份：完全备份、差异备份、增量备份、按需备份 （7）计算机病毒免疫对称密钥密码体制及典型算法 对称算
Exchange 传输安全
原创
2018-08-04 11:58:20
707阅读
Hadoop 安全背景共享集群按照业务或应用的规则划分资源队列，并分配给特定用户HDFS上存放各种数据，包括公共的、机密的重要概念安全认证：确保某个用户是自己声称的那个用户安全授权：确保某个用户只能做他允许的那些操作User：Hadoop用户，可以提交作业，查看自己作业状态，查看HDFS上的文件Service：Hadoop中的服务组件，包括namenode,resourcemanager,data
转载
2023-07-24 13:59:07
139阅读
文章目录一、正常写数据流程源码解释二、异常写流程三、机架感知四、读数据流程五、网络拓扑-节点距离计算 一、正常写数据流程①服务端启动HDFS中的NN和DN进程 ②客户端创建一个分布式文件系统客户端，由客户端向NN发送请求，请求上传文件 ③NN处理请求，检查客户端是否有权限上传，路径是否合法等 ④检查通过，NN响应客户端可以上传 ⑤客户端根据自己设置的块大小，开始上传第一个块，默认0-128M,
转载
2023-07-12 14:00:11
62阅读
