Hadoop学习一、 概念Hadoop主要由三个模块组成：HDFS分布式文件存储系统+mapreduce分布式计算（任务运行）+资源调度引擎（yarn）HDFS 日益成为一个多租户，是一个块级别的分布式文件存储系统，不管多大文件，重要存在某个块中（1k 或 89M）都占有了该块，再存不进去别的东西；包含：NameNode（nn） 存储文件的元数据，如文件名，文件目录结构，文件属性（生成时间，副本数
转载
2023-08-18 20:49:25
66阅读
HDFS（Hadoop Distribute File System）：hadoop的数据存储工具NameNode： 1）负责客户端请求的响应 2）负责元数据（文件的名称、副本系数、Block存放的DN）的管理DataNode： 1）存储用户的文件对应的数据块(Block) 2）要定期向NN发送心跳信息，汇报本身及其所有的block信息，健康状况YARN（Yet Another Resource
转载
2023-08-07 17:40:39
30阅读
一、Hadoop单个节点初始配置
环境： Win10系统装虚拟机： 虚拟机VMware-workstation-full-10.0.0-812388.exe Linux系统 ： Ubuntu16.04 JDK ： openjdk-8-jre openjdk-8-jdk或者其它版本搭建步骤： 1. 首先在win10系统装虚拟机，执行VMware-workstation-full-10.0.0
转载
2023-07-12 15:08:18
54阅读
Hadoop集群架构Hadoop集群由一个Master主节点和若干个Slave节点组成。其中，Master节点上运行NameNode和JobTracker守护进程；Slave节点上运行DataNode和TaskTracker守护进程。 Hadoop分别从三个角度将集群中的主机划分为两种角色：Hadoop集群主机角色划分从主机服务角度 从主机服务功能上将集群中的主机分为Master和Slave。
转载
2024-06-11 05:01:34
63阅读
Hadoop集群架构Hadoop集群由一个Master主节点和若干个Slave节点组成。其中，Master节点上运行NameNode和JobTracker守护进程；Slave节点上运行DataNode和TaskTracker守护进程。 Hadoop分别从三个角度将集群中的主机划分为两种角色：
Hadoop集群主机角色划分从主机服务角度 从主机服
转载
2023-09-06 10:49:30
403阅读
Mapreduce基础编程模型：将一个大任务拆分成一个个小任务，再进行汇总。MapReduce是分两个阶段：map阶段：拆；reduce阶段：聚合。hadoop环境安装安装：
1、解压 : tar -zxvf hadoop-2.4.1.tar.gz -C /root/training/
2、设置环境变量： vi ~/.bash_profile
HADOOP_HOME=/root/trainin
转载
2023-07-20 15:10:32
84阅读
NameNode在内存中保存着整个文件系统的名字空间和文件数据块的地址映射(Blockmap)。如果NameNode宕机，那么整个集群就瘫痪了 整个HDFS可存储的文件数受限于NameNode的内存大小 这个关键的元数据结构设计得很紧凑，因而一个有4G内存的Namenode就足够支撑大量的文件和目录。一般情况下，单namenode集群的最大集群规模为4000台NameNode负责：文件元数据信
转载
2023-09-20 07:06:28
518阅读
Executor模块详解Executor模块负责运行Task计算任务，并将结果会传到Driver。Spark支持多种资源调度框架，这些资源框架在为计算任务分配资源后，最终都会使用Executor模块完成最终的计算。每个Spark的Application都是从SparkContext开始的，他通过Cluster Manager和Worker上的Executor建立联系，由每个Executor完成Ap
转载
2024-01-11 08:25:55
48阅读
Spring 框架是一个分层架构，由 7 个定义良好的模块组成。分别是Spring Core，AOP，ORM，DAO，MVC，WEB，Content。Spring 模块构建在核心容器之上，核心容器定义了创建、配置和管理 bean 的方式。组成 Spring 框架的每个模块（或组件）都可以单独存在，或者与其他一个或多个模块联合
转载
2024-02-27 16:16:35
36阅读
序言海量的数据无论是存储还是计算，总是要保证其架构的高可用，数据仓库的构建是一个合的过程，而微服务又是一个分的过程，天下大势，分分合合。不同的场景适合于不同的技术，不要在一个里面觉得这个技术就是银弹，可能也只是昙花一现。hadoop相关问题序：namenode高可用问题namenode的高可用是由QJM和zkfc加zk集群来实现的，当宕机再启动的时候，会切换很快，但是如果直接宕机或者是hang机，
原创
2021-03-08 17:16:46
2048阅读
# 如何启动Hadoop节点
Hadoop作为一种广泛使用的分布式计算框架，其核心在于“一个主控节点与多个工作节点”构成的集群结构。在大数据处理中，理解如何启动和配置Hadoop的节点至关重要。本篇文章将介绍Hadoop的基本架构、启动多个节点的方法，并通过代码示例加深理解。
## Hadoop架构概述
Hadoop框架主要由以下几个组件组成：
1. **Hadoop Common**：提
原创
2024-09-05 04:35:03
29阅读
所有操作在虚拟机下完成，虚拟机软件选用VMware Workstation Pro 12 （后文简称为VM）关于Linux安装不再阐述一、网络环境配置 1）Windows界面 首先在VM页面，点击虚拟网络编辑器 进入后把vmnet8改为nat模式 次之，点击上图红框右边的NAT设置网关，前缀随意，记得数字1结尾 然后修改子网IP，要求在网段内 继
Hadoop的三大发行版本Hadoop的三大发行版本包括：Apache、Cloudera、Hortonworks。其中：Apache版本是最原始（最基础）的版本对于入门学习的新手比较推荐。官网地址：http://hadoop.apache.org/releases.html下载地址：https://archive.apache.org/dist/hadoop/common/Cloudera在市场常
转载
2023-07-20 20:43:27
194阅读
【Hadoop】单节点、伪分布式运行Hadoop的配置Hadoop配置文件说明：关闭防火墙CentOS6.xCentOS7HDFS与MapReduce基本操作创建HDFS用户目录上传文件到HDFS目录运行Hadoop实例YARN的启动YARN的配置YARN的启动YARN的关闭 Hadoop可以在单节点上以伪分布式的方式运行，Hadoop 进程以分离的 Java 进程来运行，节点既作为 Name
转载
2024-09-29 11:18:35
22阅读
在 Hadoop 单机环境搭建和伪分布环境搭建 基础之上，利用虚拟机的克隆技术，把hadoop1虚拟机克隆出2台分别是hadoop2、hadoop3环境说明
我的环境是在虚拟机中配置的，Hadoop集群中包括4个节点：1个Master，2个Salve，节点之间局域网连接，可以相互ping通
Master机器主要配置NameNode和JobTracker的角色，负责总管分布式数据和分解任
转载
2023-07-12 13:08:21
175阅读
服务器网页缓存的深入分析
分类： Linux2010-08-02 18:53 86人阅读 评论(0) 收藏 举报
Expires、Cache-Control、Last-Modified、ETag是RFC 2616（HTTP/1.1）协议中和网页缓存相关的几个字段。前两个用来控制缓存的失效日期，后两个用来验证网页的有效性。要注意的
转载
精选
2012-09-25 17:06:31
424阅读
pytest 默认执行用例是根据项目下的文件夹名称按 ascii 码去收集的，module 里面的用例是从上往下执行的。pytest_collection_modifyitems 这个钩子函数就是改变用例的执行顺序。pytest_collection_modifyitems 是在用例收集完毕之后被调用，可以用来调整测试用例执行顺序，它有三个参数，分别是：session：会话对象。config：配置
转载
2024-10-25 07:36:40
8阅读
nginx必知必会一、介绍1、nginx的三个主要应用场景2、主要优点3、nginx4大模块二、下载安装三、nginx核心配置文件解读四、Nginx配置语法五、location路径配置1、规则2、静态资源web服务示例示例反向代理负载均衡(负载策略)动静分离 一、介绍nginx是一个轻量级http服务器和反向代理服务器，它通过优化web服务器软件来支持大规模客户端连接的并发处理，基于C语言编写，大
python的json/pickle/subprocess/re等模块的使用
原创
2019-02-02 18:13:37
4180阅读
点赞
一，简单介绍HADOOP集群具体来说包含三个模块：HDFS集群，YARN集群（两者逻辑上分离，但物理上常在一起）和Mapreduce HDFS集群： 负责海量数据的存储，集群中的角色主要有 NameNode / DataNode YARN集群： 负责海量数据运算时的资源调度，集群中的角色主要有 ResourceManager /NodeManager Mapreduce： 它其实是一个分布式运算程
转载
2023-09-14 13:59:05
71阅读
