Hadoop HA 部署所需的压缩包百度网盘自取： 实操使需的压缩包: 链接 提取码：q9r6环境准备： 三台虚拟机，版本最好为centos7.4编号主机名类型用户密码ip1master1主节点rootpasswd192.168.160.1102slave1从节点rootpasswd1292168.160.1113slave2从节点rootpasswd129.168.160.112一、解压 JDK
转载
2024-09-27 14:51:30
79阅读
前言：因项目中需要数据分析，因而使用hadoop集群通过离线的方式分析数据参考着网上的分享的文章实施整合的一篇文章，实施记录 安装流程：1.设置各个机器建的ssh 无密码登陆2.安装JDK3.开始安装配置hadoop4.检查单机版Hadoop5.集群搭建6.测试集群是否搭建成功7.hadoop远程客户端安装配置 准备：分别上台机器：master(hadoop主机)、node1（
转载
2024-08-02 13:17:33
18阅读
Hadoop是Apache基金会的开源项目，为开发者提供了一个分布式系统的基础架构，用户可以在不了解分布式系统的底层细节的情况下开发分布式的应用，充分利用集群的强大功能，实现高速运算和存储。Hadoop项目中包括一个分布式的文件系统ＨＤＦＳ，一个分布式的并行编程框架mapreduce，以及包括hive,hbase,mahout,pig,zookeeper,avro,chukwa在内的诸多子项目。Hadoop主要的两部分分别是分布式存储ＨＤＦＳ和分布式计算mapreduce。Hdfs是一个master/slave的结构，就一般的部署来说，在master上只运行一个namenode，而在每一个sl
转载
2013-08-19 19:49:00
119阅读
2评论
hadoop的简单安装部署过程 为了做些实验，所以在自己笔记本电脑上装了个虚拟机，系统为CentOS6.2，JDK1.7，hadoop-1.0.1 为了简单起见，部署伪分布式，即仅有一个节点，这个节点既是Master，也是Slave，既是NameNode，也是DataNode，既是JobTracker，也是TaskTracker。 部署总体说明：伪分布式部署比较简单，
原创
2016-07-20 09:23:51
811阅读
3评论
一.为什么要搭建hadoop环境？ 第一，本人对hadoop生态圈有一定的兴趣。第二，leader让我了解的，估计是要让我搞这个了。 二.什么是hadoop生态？ 其实如果你不知道hadoop生态和大数据是干什么的，你就不用往下看了。 三.总体流程规划。 1.准备虚拟机2.下载所需要的一些安装包。3.相关软件的安装与环境变量的配置(只需先安装在某一
转载
2023-12-04 17:32:59
151阅读
准备软件包1、hadoop-2.7.2.tar.gzhttp://mirror.bit.edu.cn/apache/hadoop/common/2、scala-2.10.4.tgzhttp://www.scala-lang.org/download/2.10.4.html3、spark-2.0.0-bin-hadoop2.7.tarhttp://spark.apache.org/downloads
原创
2017-07-18 15:27:17
5237阅读
配置环境 配置前的说明部署伪分布式与集群式Hadoop的绝大部分操作都是一样的
高可用性即HA（High Availability）指的是通过尽量缩短因日常维护操作（计划）和突发的系统崩溃（非计划）所导致的停机时间，以提高系统和应用的可用性。一、高可用集群的解决方案高可用性即HA（High Availability）指的是通过尽量缩短因日常维护操作（计划）和突发的系统崩溃（非计划）所导致的停机时间，以提高系统和应用的可用性。计算机系统的高可用在不同的层面上有不同的表现：（1）
转载
2024-01-12 15:22:26
90阅读
map->shuffle->reducemap->combine->partition->sort-> group->reducejob.setInputFormatClass，默认TextInputFormat，将数
原创
2023-07-11 00:10:57
41阅读
第一步：装虚拟机1 目录 第一步：装虚拟机第二步：配置静态网络，关闭防火墙第三步：配置主机名，配置hosts文件 第四步：使用SSH传输文件第五步：配置SSH免密登录第六步：配置时间同步第七步：解压jdk包和hado
转载
2023-09-14 13:39:15
123阅读
HADOOP HA 介绍 1. 概论 本指南提供了一个HDFS 的高可用性（HA ）功能的概述，以及如何配置和管理HDFS 高可用性(HA) 集群。本文档假定读者具有对HDFS 集群的组件和节点类型具有一定理解。有关详情，请参阅Apache 的HDFS 的架构指南。http://hadoop.apache.org/common/docs/current/hdfs_design.html
2. 背
在hadoop生态系统中，hadoop核心包括了hdfs以及mapreduce.hadoop的一些设计机制机架感知rack-aware使得master能够获取整个集群的基于网络ip地址或者主机名的分布图。通过一个脚本实现，脚本耦合少，参数只有网络ip地址或者主机名。相关配置项 topology.script.file.namehealth-checker健康检查的模块 类似hadoop这
转载
2023-12-25 12:25:09
30阅读
大数据集群（Hadoop生态）安装部署简介1）Hadoop是一个由Apache基金会所开发的分布式系统基础架构。2）主要解决，海量数据的存储和海量数据的分析计算问题。三类组件Hadoop HDFS：提供分布式海量数据存储能力Hadoop YARN：提供分布式集群资源管理能力Hadoop MapReduce：提供分布式海量数据计算能力前置要求请确保完成了集群化环境前置准备即：JDK、SSH免密、关闭
转载
2023-07-12 10:56:15
93阅读
安装方式：伪分布式，让进程跑在一台机器上，端口不一样 文档：http://hadoop.apache.org/docs/r2.7.6/hadoop-project-dist/hadoop-common/SingleCluster.html一、hadoop的安装部署1.使用rz命令上传按照所需版本上传：rz2.解压tar -zxvf hadoop-2.7.3.tar.gz -C ../modules
转载
2023-07-14 15:11:34
79阅读
笔记规则：*代表重点标记符号，即重要命令
* 环境变量：sudo gedit /etc/profile
* export JAVA_HOME=/jdk路径/jdk1.8.0_121
* export CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib:$CLASSPATH
* export PATH=$JAVA_HOME/
转载
2024-08-10 14:54:08
42阅读
首先，高可用集群是建立在zookeeper搭建没有问题的前提下来完成的，没有搭建好zookeeper的，先搭好才可以做以下操作。 一：前期准备（只需要在主节点master上完成） 1.拍摄快照 想拍就拍，不想拍算了，建议还是拍一个，毕竟万一搭不好，还可以回到你这个状态，记得给快照加个备注，以防忘记你这个快照是干嘛的。最好关机状态下拍。 2.删除完全分布式集群rm -rf /usr/local/
转载
2023-07-24 14:28:37
78阅读
这一步开始正式搭建hadoop，但是要确保前面的每一步都完成首先要下载一个一些工具：1.hadoop的安装包，linux版本的，后缀名市是tar.gz的这种2.跨平台数据传输工具，这里推荐使用xshell和xftp，xshell用来链接linux，而xftp则用来将一些文件从本机传到linux中（这个是在本机安装的，不要放到虚拟机里）第一步：将hadoop的安装包传输到master中，然后解压：t
转载
2023-07-24 11:31:50
115阅读
本章介绍在CentOS搭建Hadoop集群环境 一、 安装Hadoop1. 解压文件tar -zxvf hadoop-2.7.0-x64.tar.gz -C /opt #解压Hadoop2. 编辑全局变量vi /etc/profile增加以下全局变量export HADOOP_HOME=/opt/hadoop-2.7.0
export PATH=$HADOOP_HOME/bin:$HAD
转载
2023-06-30 21:40:16
57阅读
Hadoop完全分布式配置Hadoop完全分布式部署一、需要的软件二、安装配置Hadoop1、 配置静态网络，关闭防火墙，设置hosts映射关系1.1使用ping 命令检测网络是否连通1.2 修改ip地址，设置为静态网络。1.3 关闭防火墙1.4 设置hosts映射关系1.4.1 编辑hosts文件：1.4.2 进入编辑模式 i，在最后一行添加2. 设置机器主机名和网络，以及测试hosts映射是
转载
2023-07-14 15:19:59
68阅读
