文章目录一、Hadoop 入门1.1 基础架构1.2 大数据生态圈二、Hadoop 集群部署2.1 准备2.2 配置2.3 启动2.4 监控页面三、HDFS3.1 组成架构3.2 HDFS Shell3.3 HDFS 客户端3.4 HDFS 数据流3.4.1 写数据流程3.4.2 读数据流程3.5 NN 和 2NN3.5.1 工作机制3.5.2 集群安全模式3.6 DN3.6.1 工作机制3.6
转载
2023-07-25 19:33:09
73阅读
hadoop的基本操作是对6个类的重写实现的//基本的设置，对于同的问题，只需要重写6个类即
原创
2023-07-11 00:02:05
40阅读
Hadoop框架的认识以及基础命令的认识Hadoop的学习笔记大数据的特点：大量、高速、多样化概述：Hadoop是一个适合海量数据的分布式存储和分布式计算的平台。Hadoop框架三大组件支持：Hadoop是一个统称，目前hadoop主要包含三大组件：（1）HDFS：是一个分布式存储框架，适合海量数据的存储（2）mapreduce：是一个分布式计算框架，适合海量数据的计算（3）yarn：是一个资源调
转载
2023-07-04 09:54:43
99阅读
Hadoop架构 HDFS架构概念：HDFS架构采用主从式架构，是一种Master-Slave结构Master------NameNodeSlave------DataNode结构：Client（客户端）作为资源请求的载体，想Hadoop集群发送请求具体作用：切分文件：文件上传HDFS的时候，将文件切成一个个Block再进行存储与NameNode交互，获取文件的位置信息与DataNode
转载
2023-07-12 18:47:51
42阅读
Hadoop作为成熟的分布式计算框架在大数据生态领域已经使用多年，本文简要介绍Hadoop的核心组件MapReduce、YARN和HDFS，以加深了解。1、Hadoop基本介绍Hadoop是分布式计算框架，主要解决海量数据的存储和计算问题。Hadoop主要组件包括分布式文件系统HDFS、分布式离线并行计算框架MapReduce、作业调度与集群资源管理框架YARN。Hadoop生态系统一系列框架和组
转载
2023-08-03 20:58:56
176阅读
配置haoop全路径：gedit .profileexport PATH=/home/hadoop/hadoop/bin:$PATH自定义命令 gedit .bashrcalias fs='hadoop fs'
原创
2014-05-24 08:59:01
337阅读
一：Hadoop基本概念 一个分布式系统基础架构，由Apache基金会所开发。用户可以在不了解分布式底层细节的情况下，开发分布式程序。 充分利用集群的威力进行高速运算和存储。 Hadoop的框架最核心的设计就是：HDFS和MapReduce 二：Hadoop解决问题 1.海量数据的存储（HDFS）
转载
2020-02-12 11:19:00
355阅读
2评论
假设Hadoop的安装目录HADOOP_HOME为/home/admin/hadoop。启动与关闭启动Hadoop1.进入HADOOP_HOME目录。2.执行sh bin/start-all.sh关
原创
2022-12-28 15:12:46
81阅读
Hadoop生态系统Hbase 1、Nosql数据库，key-value存储 2、最大化利用内存HDFS 1、hadoop distribute file system分布式文件系统 2
原创
2023-05-16 00:17:56
79阅读
hadoop基本操作学习三 启动与关闭 启动Hadoop 进入HADOOP_HOME目录。 执行sh bin/start-all.sh 进入HADOOP_HOME目录。 执行sh bin/stop-all.sh 关闭Hadoop 文件操作 Hadoop使用的是HDFS，能够实现的功能和我们使用的磁盘
原创
2021-07-23 16:25:31
99阅读
最近在学习hadoop。网上具体过程很多，我就说说简单过程和注意问题。环境：宿主机（windows64），虚拟机（centos64）。准备软件：1、Vmware——虚拟机2、centos镜像文件——centos熟悉点3、hadoop包——用的是1.1.2版本（主要是这个版本资料较多）4、jdk——h...
转载
2015-09-12 23:26:00
131阅读
2评论
在这篇文章中，我们默认认为Hadoop环境已经由运维人员配置好直接可以使用。 假设Hadoop的安装目录HADOOP_HOME为/home/admin/hadoop。 启动与关闭 启动Hadoop 1. 进入HADOOP_HOME目录。 2. 执行sh bin/start-all.sh 关闭Hadoop 1. 进入HADOOP_HOME目录。 2.
转载
2012-05-21 17:30:00
65阅读
2评论
在这篇文章中，我们默认认为Hadoop环境已经由运维人员配置好直接可以使用。假设Hadoop的安装
原创
2023-07-13 17:52:01
43阅读
在这篇文章中，我们默认认为Hadoop环境已经由运维人员配置好直接可以使用。假设Hadoop的安装目录HADOOP_HOME为/home/admin/hadoop。启动与关闭启动HADOOP1. 进入HADOOP_HOME目录。2. 执行sh bin/start-all.sh关闭HADOOP1. 进入HADOOP_HOME
转载
2022-08-20 01:15:39
128阅读
启动与关闭启动HADOOP1. 进入HADOOP_HOME目录。2. 执行sh bin/start-all.sh关闭HADOOP1. &nbs
原创
2023-03-28 15:45:17
67阅读
Hadoop基本操作命令
在这篇文章中，我们默认认为Hadoop环境已经由运维人员配置好直接可以使用。
假设Hadoop的安装目录HADOOP_HOME为/home/admin/hadoop。
启动与关闭
启动Hadoop
1. 进入HADOOP_HOME目
转载
精选
2010-09-18 15:12:11
342阅读
Hadoop Server1.example.com 172.25.23.1 masterServer2.example.com 172.25.23.2 slaveServer3.example.com 172.25.23.3 slaveServer4.example.com 172.25.23.4 slaveSelinux iptables disabled 加解析(节点间可以ping
原创
2016-09-07 19:31:30
699阅读
hadoop环境配置好后，直接可以在window上进行调试。话不多说，直接上源码。 package cn.terry; import java.io.FileInputStream; import java.io.FileNotFoundException; import java.io.FileO
原创
2021-07-31 15:56:01
254阅读
闭Hadoop文件操作Hadoop使用的是HDFS，能够实现的功能和我们使用的磁盘系统类似。并且支持通配符，如*。查看文件列表查看hdf
转载
2011-11-09 12:49:00
158阅读
2评论
Hadoop整体架构是 分布式的主/从架构，由一组守护进程和一组宿主程序组成，守护进程有：NameNode，DataNode，Secondary NameNode，JobTracker，TaskTracker
其中NameNode,DataNode,Secondary NameNode被划分为 存储进程类，而JobTracker和TaskTracker被划分为计算进程类。
&nbs
原创
2012-05-24 15:09:53
876阅读
