一、初级班全套视频1、linux使用（3节）2、伪分布模式安装hadoop（2节）3、HDFS的体系结构和操作（2节）4、HDFS的java操作方式（4节）5、代码二、中级班全套视频1、MapReduce入门（2节）2、MapReduce的源码简介和自定义类型（4节）3、mapReduce的剩余核心环节讲解（5节）4、MapReduce的自定义排序和分组（3节）5、hadoop的集群安装和安全模式
原创
2014-10-27 21:31:23
1694阅读
1. 默认配置文件: 存放于Hadoop对应的jar包中core-default.xmlhdfs-default.xmlyarn-default.xmlmapred-default.xml2. 自定义配置文件： $HADOOP_HOME/etc/hadoop
core-site.xmlhdfs-site.xmlyarn-site.xmlmapred-site.xml2.1 core-site.xm
免密登录3个节点分别执行以下命令，获取密钥
ssh-keygen -t rsa
在node001节点上做示范，以下的命令需要在所有节点上执行一遍
ssh-copy-id -i node002
ssh-copy-id -i node003
#将生成的公钥添加到认证文件中,其中.shh是隐藏的，需要在~下执行命令：ls -a才可以看到
cd ~/.ssh
cat id_rsa.pub >>
转载
2024-06-07 14:48:19
103阅读
1、问题背景操作系统：CentOS7 64位 Hadoop版本：Hadoop2.7.3 JDK：1.8.0_652、问题描述使用start-all.sh脚本或者先后执行start-dfs.sh、start-yarn.sh脚本启动Hadoop后，通过jps命令检测DataNode节点进程发现有DataNode进程，数秒后DataNode进程莫名其妙“消失”了，只有Jps、NodeManager两个进
转载
2023-11-08 17:45:30
501阅读
Datanode下线对集群带宽影响调研 这是我两年前做的一个调研和测试，数据和集群规模有点老了，但是结论是有参考价值的。供大家参考。 背景介绍 在hadoop集群中，当一个datanode发生故障（宕机，进程被kill，网络不通等）时，namenode在一定时间内（默认10分30秒）无法收到该datanode的心跳信息，就会将该datanode从集群中下线。这样带来的影响是，保存在这台datan
转载
2024-02-13 19:52:17
94阅读
Hadoop全分布式配置
所需文件： jdk-8u65-linux-x64.tar.gz hadoop-2.6.0.tar.gz 节点类型IP地址主机名 Namenode192.168.29.6masterNamenode/ SenddaryNameNode/ ResourceManager/Jps DataNode192.168.29.7sl
转载
2023-08-24 15:55:28
113阅读
为什么我们看了很多资料还是不知道hadoop 到底以什么方式工作？为什么我们按照各种版本安装部署hadoop 中途总是困难重重？ 之前我总结了如何安装一个单节点的hadoop。但hadoop毕竟是分布式计算平台。我们新手的起码入门标尺-----应该是在多个计算机之间搭建好集群。所以我紧接着写这一篇文章。 我们回顾一下hadoop的整体结构：图片来源： hadoop 核
转载
2023-07-20 15:10:11
85阅读
1.目的这个文档描述了如何安装和配置hadoop，这样很快的你就可以使用hadoop mapreduce 和 HDFS（hadoop文件系统）进行简单操作。2.先决条件：2.1平台支持.支持GUN/Linux 作为开发和生产的平台。hadoop 展示过在GUN/Linux 上的 2000节点的集群。.也支持windows 平台，但是下面的步骤只适用于linux。windows 上安装
转载
2024-03-15 19:53:59
80阅读
5节点hadoop-2.7.3 HA集群搭建一、集群规划共5个节点，主机名分别是node-01、node-02、node-03、node-04、node-05初始启动集群，node-01上运行active namenode即主namenode；node-02上运行standby namenode即从namenode每个节点运行的进程如下表机器名运行进程node-01NameNode/zkfc/Zo
转载
2023-05-31 00:27:49
417阅读
五节点的Hadoop HA集群搭建1 集群规划1.1 节点（虚拟机）主机名IP操作系统安装软件vm110.211.55.11Centos 7JDK，Hadoopvm210.211.55.12Centos 7JDK，Hadoopvm310.211.55.13Centos 7JDK，Hadoop，Zookeepervm410.211.55.14Centos 7JDK，Hadoop，Zookeeperv
转载
2023-07-11 14:19:16
73阅读
特别说明，做大数据需要特别好的电脑配置，处理器至少i5吧,i5-8300H，显卡尽量GTX的，GTX1050，内存得有8G吧（我的是16G）软件准备：jdk-1.8.0_191;hadoop-2.8.5；zookeeper-3.4.12,软件下载可以就不说了，直接去官网下载即可系统准备：Centos7 64位一、集群规划：主机名 &
转载
2023-07-07 19:49:43
111阅读
HDFS实战一、HDFS安装步骤1、上传安装包到linux12、解压3、解压后的目录4、配置（1）在 hadoop-env.sh 中配置java环境变量（2）修改hdfs-site.xml5、分发到集群的其他节点（1）rsync远程同步工具6、在linux1上初始化namenode7、单节点启动8、页面访问9、日志10、一键启停（1）配置从节点的主机名到workers文件中（2）修改一键启停的命
转载
2023-08-16 13:20:45
634阅读
实验环境CentOS 6.XHadoop 2.6.0JDK 1.8.0_65目的这篇文档的目的是帮助你快速完成单机上的Hadoop安装与使用以便你对Hadoop分布式文件系统(HDFS)和Map-Reduce框架有所体会，比如在HDFS上运行示例程序或简单作业等。先决条件支持平台 GNU/Linux是产品开发和运行的平台。 H
转载
2024-08-02 10:46:31
31阅读
提示：如果还不了解Hadoop的，可以下查看这篇文章Hadoop生态系统，通过这篇文章，我们可以首先大致了解Hadoop及Hadoop的生态系统中的工具的使用场景。搭建一个分布式的hadoop集群环境，下面是详细步骤，使用cdh5 。 一、硬件准备
基本配置:
操作系统 64位 CPU (英特尔)Intel(
转载
2024-07-22 11:35:49
32阅读
本教程主要参考hadoop实战和炼数成金视频教程在一个全配置的集群上，运行hadoop意味着在网络分布的不同服务器上运行一组守护进程。这些守护进程有特殊的角色，一些仅存在与单个服务器上，一些则运行在多个服务器上，他们包括：NameNode(名字节点)、DataNode（数据节点）、Secondary NameNode（次名字节点）、JobTracker（作业跟踪节点）、TaskTracker（任务
转载
2024-01-02 12:04:31
39阅读
Hadoop的设计架构模式，集中管理 Hadoop 几个主要产品的架构设计，它们都有相似性，都是一主多从的架构方案。HDFS，一个 NameNode，多个 DataNode；MapReduce，一个 JobTracker，多个 TaskTracker；Yarn，一个 ResourceManager，多个 NodeManager。事实上，很多大数据产品都是这样的架构方案：Storm，一
转载
2024-06-03 11:15:41
42阅读
管理文件系统的命名空间，他维护着文件系统树及整棵树上所有的文件和目录，这些信息以两个文件形式永久的保存在本地磁盘上，命名空间镜像文件(fsimage)和(Editlogs)
fsimage：namenode启动时，对整个文件系统的快照
editlogs：namenode启动以后，对文件系统的改动序列
转载
2023-07-31 16:27:26
71阅读
CentOS 6.5环境下搭建HDFS完全分布式准备工作配置免密登录配置Hadoop文件将配置好的Hadoop文件分发到其余节点上HDFS初始化与服务启动 准备工作 首先需要准备4台CentOS6.5虚拟机，并且将网络与JDK配置完全，如需配置JDK详见 分布式存储：HDFS.。 注意：在安
转载
2024-07-17 18:09:19
62阅读
文章目录问题Hadoop 1.0存在的问题：单点故障和内存受限Hadoop 2.0解决方案：现在只讨论HA的实现：ZooKeeper:在HDFS-HA搭建的过程中起着分布式协调作用搭建图HDFS非HA跟HA框架图HA搭建框架图集群规划：ZooKeeper 安装hadoop安装配置core-site.xmlHDFS-site.xmlmapred-site.xmlyarn-site.xml修改slav
转载
2024-04-22 21:09:25
132阅读
五个节点：配置文件解析：hadoop01 NameNode 、DataNode、NodeManagerhadoop02 ResourceManager hadoop03 DataNode NodeManager、SecondaryNameNodehadoop04
转载
2023-06-25 23:42:49
138阅读
