1、hadoop背景介绍1.1、什么是Hadoop （1） HADOOP是apache旗下的一套开源软件平台 （2）HADOOP提供的功能：利用服务器集群，根据用户的自定义业务逻辑，对海量数据进行分布式处理 （3） HADOOP的核心组件有: &n
转载
2023-09-20 07:19:34
57阅读
Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），其中一个组件是HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high thr
转载
2024-07-26 09:49:02
21阅读
深入剖析阿里巴巴云梯YARN集群
摘要：阿里巴巴是国内使用Hadoop最早的公司之一，已开启了Apache Hadoop 2.0时代。本文将详细介绍阿里巴巴如何充分利用YARN的新特性来构建和完善其多功能分布式集群——云梯YARN集群。
阿里巴巴作为国内使用Hadoop最早的公司之一，已开启了Apache Hadoop 2.0时代。阿里巴巴的Hadoop集群，即云梯
转载
2023-07-25 18:33:48
67阅读
1.实验学时4学时2.实验目的熟悉Hadoop系统的安装掌握Hadoop系统的两种安装方式掌握Hadoop系统的基本命令3.实验内容安装虚拟机和Linux环境。虚拟机安装完毕:已经改变虚拟机网络连接方式为桥接网络，使用手机热点连接计算机环境为Linux系统(二)参照实验指南的内容安装Hadoop系统，安装单机模式。按照书上之前的配置，已经安装hadoop. 按照命令查看hadoop的例子
转载
2023-08-18 20:15:11
49阅读
华为云Hadoop与Spark集群环境搭建流程Hadoop 2.7.1环境搭建1、购买华为云服务器2、修改服务器相关配置3、配置ssh免密登录4、JDK安装5、Hadoop集群搭建Spark 3.2.0集群环境搭建1、Spark安装2、Spark文件配置3、启动Spark集群4、关闭Spark集群 所使用安装包及对应版本：JDK 8Hadoop 2.7.1Spark 3.2.0Hadoop 2.
转载
2023-08-09 22:18:29
42阅读
Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop 核心项目提供了在低端硬件上构建云计算环境的基础服务,它也提供了运行在这个云中的软件所必须的 API 接口。 Hadoop 内核的两个基本部分是 MapR
转载
2024-01-23 21:23:17
24阅读
1HADOOP简介 什么是HADOOPHADOOP可以对海量数据进行分布式处理HADOOP的核心组件有
HDFS（分布式文件系统）YARN（运算资源调度系统）MAPREDUCE（分布式运算编程框架）广义上来说，HADOOP通常是指一个更广泛的概念——HADOOP生态圈HADOOP在大数据、云计算中的位置和关系云计算是分布式计算、并行计算、网格计算、多核计算、网络存储、虚拟化、负载
转载
2023-06-14 14:35:59
143阅读
云计算中，分为三个层次的服务：IaaS、PaaS、SaasIaas：Infrastructure-as-a-Service，基础设施即服务。消费者通过internet可以从完善的计算基础设施获得服务。IaaS通过网络向用户提供计算机(物理机和虚拟机)、存储空间、网络连接、负载均衡和防火墙等基础的计算资源。用户在此基础上部署和运行各种软件，包括操作系统和应用程序。
转载
2023-12-12 15:25:44
89阅读
一、hadoop HA架构的角色分析1、namenode存储元数据，与client客户端进行交互，当服务启动时加载fsimage镜像文件和edits.log文件到自己的内存。在整个架构中，分别有处于active状态的nameNode,和处于standby状态的namenode，standby也是时刻启动的，一致在通过journalnode与actived的namenode进行数据同步，这样来保持，
转载
2023-07-12 21:05:29
70阅读
Hadoop主要有两个层次，即：加工/计算层(MapReduce)，以及存储层(Hadoop分布式文件系统,即HDFS)。Hadoop文件系统使用分布式文件系统设计开发。它是运行在普通硬件。不像其他的分布式系统，HDFS是高度容错以及使用低成本的硬件设计。HDFS拥有超大型的数据量，并提供更轻松地访问。为了存储这些庞大的数据，这些文件都存储在多台机器。这些文件都存储以冗余的方式来拯救系统免受可能的
转载
2023-07-12 03:39:54
86阅读
Hadoop的架构在其核心，Hadoop主要有两个层次，即： 加工/计算层(MapReduce) 存储层(Hadoop分布式文件系统) 除了上面提到的两个核心组件，Hadoop的框架还包括以下两个模块： Hadoop通用：这是Java库和其他Hadoop组件所需的实用工具 Hadoop YARN ：这是作业调度和集群资源管理的框架 Hadoop Streaming 是一个实用程序，它允
转载
2023-08-29 14:00:59
79阅读
按照时间的早晚从大数据出现之前的时代讲到现在。暂时按一个城市来比喻吧，反正Landscape的意思也大概是”风景“的意思。早在大数据概念出现以前就存在了各种各样的关于数学、统计学、算法、编程语言的研究、讨论和实践。这个时代，算法以及各种数学知识作为建筑的原料(比如钢筋、砖块)，编程语言作为粘合剂(比如水泥)构成了一座座小房子(比如一个应用程序)，形成了一小片一小片的村庄(比如一台服务器)。这个时代
转载
2024-09-23 09:31:20
32阅读
一、网安学习成长路线图网安所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。2）ZooKeeper会话管理：当本地NameNode是健康的，ZKFC保持一个在ZooKeeper中打开的会话。如果本地NameNode处于active状态，ZKFC也保持一个特殊的znode锁，该锁使用了ZooKeeper对短暂节点的支持
转载
2024-09-12 10:04:47
31阅读
1.什么是hadoop处理框架？Apache Hadoop是一种专用于批处理的处理框架。Hadoop是首个在开源社区获得极大关注的大数据框架。基于谷歌有关海量数据处理所发表的多篇论文与经验的Hadoop重新实现了相关算法和组件堆栈，让大规模批处理技术变得更易用。Hadoop 由 HDFS 、 MapReduce 、 HBase
转载
2023-09-20 10:25:09
90阅读
1、HDFS—核心参数1.1 NameNode内存生产配置1.1.1、NameNode内存计算每个文件块大概占用150byte，一台服务器128G内存为例，能存储多少文件块呢？128 * 1024 * 1024 * 1024 / 150Byte ≈ 9.1亿
G MB KB Byte1.1.2、Hadoop2.x系列，配置NameNode内存NameNode内存默认2000m，如果服务器内
转载
2023-09-22 12:55:44
93阅读
本事故，发生在测试的环境上，虽然不是线上的环境，但也是一次比较有价值的事故。起因：公司里有hadoop的集群，用来跑建索引，PHP使用人员，调用建索引的程序时，发现MapReduce集群启动不起来了，报IOException异常，具体的异常没有记录，大致的意思就是磁盘空间满了，导致创建文件失败！下面散仙模拟当时的环境，接到问题后，第一件事就是先查看centos系统的磁盘使用率执行命令 df -h
转载
2023-09-20 12:45:21
73阅读
# Hadoop数据持久层：深入理解与实践
Hadoop是一个开源的分布式存储和计算框架，它通过HDFS（Hadoop Distributed File System）提供了一个高可靠性、高吞吐量的存储系统，并通过MapReduce提供了一个高效的数据处理模型。在Hadoop生态系统中，数据的持久化是一个非常重要的环节，本文将深入探讨Hadoop数据持久层的相关知识，并提供一些代码示例。
##
原创
2024-07-24 07:12:34
35阅读
大数据计算引擎分为离线计算和实时计算，离线计算就是我们通常说的批计算，代表是Hadoop MapReduce、Hive等大数据技术。实时计算也被称作流计算，代表是Storm、Spark Streaming、Flink等大数据技术。 计算引擎也在不
转载
2023-09-20 10:38:12
162阅读
1.大数据集群节点规划1.1 数据存储总量预估比如业务系统数据量每天增量 50T，保留周期为 30 天，那么 HDFS 存储 容量为 50T * 30 天 * 3 副本 * 2 倍（数据源+清晰加工） = 9000T = 8.79P 1.2 DataNode节点规模预估每个机器的磁盘是 4T * 10 = 40T, 每台机器的可用存储容量为 40T *&nb
转载
2023-07-13 16:42:39
258阅读
什么是云计算？摘抄一段wikipedia上的权威解释：云计算 （cloud computing ，台湾译作云端运算 ），是一种基于互联网 的计算新方式，通过互联网上异构、自治的服务为个人和企业用户提供按需即取的计算。由于资源是在互联网上，而在计算机流程图中，互联网云计算的资源是动态易扩展 而且虚拟化云计算可以认为包括以下几个层次的服务：基础设施即服务（IaaS），平台即服务 （PaaS）和软件即服
转载
2023-08-13 17:40:35
154阅读
