一、Hadoop概述1.简介hadoop是一个开源分布式计算平台框架基于apache协议发布由java语言开发。http://hadoop.apache.org/2.hadoop组件介绍HDFS分布式文件系统为分布式计算提供了数据存储Mapreduce应用程序被分区成许多小部分而每个部分都能在集群中的任意节点上运行一句话就是任务的分解和结果的汇总Common为其他组件提供常用工具支持YARN&nb
原创
2016-07-15 18:15:12
859阅读
一、前言 与Hadoop1.x相比，Hadoop2.x中的NameNode不再是只有一个了，可以有多个（目前只支持2个）。每一个都有相同的职能。这两个NameNode的地位如何哪？ 答：一个是active状态的，一个是standby状态的。当集群运行时，只有active状态的NameNode是正常工作的，
原创
2022-02-18 10:31:13
149阅读
一、前言 与Hadoop1.x相比，Hadoop2.x中的NameNode不再是只有一个了，可以有多个（目前只支持2个）。每一个都有相同的职能。这两个NameNode的地位如何哪？ 答：一个是active状态的，一个是standby状态的。当集群运行时，只有active状态的NameNode是正常工作的，standby状态的NameNode是处于待命状态的，时刻同步active状态NameNod
原创
2021-07-06 17:14:51
397阅读
1.开始 个人配置 ： 笔记本（deepin linux ） + vritualBox ( ubuntu ) x 3 说明 ： 一定要看 ！！！ 在上篇 hadoop - hadoop2.6 分布式 - 集群环境搭建 -
原创
2023-05-07 15:55:37
126阅读
1.背景 上篇记录了hadoop的核心配置和zookeeper的基本配置，这篇
原创
2023-02-22 11:16:22
166阅读
1.配置 我的搭建环境是 个人笔记本（deepin linux）+ VirtualBox （
原创
2023-02-22 11:16:21
162阅读
一、下载Hadoop包和JDK1、下载Hadoop地址：https://archive.apache.org/dist/hadoop/common/hadoop-2.6.4/hadoop-2.6.4.tar.gz2、下载jdk：链接：https://pan.baidu.com/s/1lbu7eBEtgjeGIi2bWthLnA提取码：0j0j二、准备虚拟机1、在VMware中创建新的虚拟机（Cen
原创
2020-05-02 09:10:27
1534阅读
点赞
1.申明：在看本博客之前：请务必完全按照以下的步骤去做完全一样的的，不要去修改，否则容易出错。 实验环境：VMware Workstation Pro14, centos7镜像，hadoop102为主节点hadoop103和hadoop104为子节点。 符：资源下载hadoop2.7.2和jdk1.8点我进去：提取码：t5 xb在VM上新建一台虚拟机hadoop100，然后从这台原始的
转载
2023-07-12 13:11:17
42阅读
1.环境 hadoop 2.6 hdfs 地址 ： hdfs://localhost:9000 开发环境 ： eclipse 新建Map/Reduce 工程2.代码示例package cn.labelnet.demo;import java.io.FileInputStream;import java.io.FileNotFoundExcepti
原创
2023-02-22 11:16:30
135阅读
1.hadoop基本知识 1.1 特点： 扩容能力：能可靠地存储和处理千兆字节的
原创
2023-02-22 11:16:57
206阅读
# Hadoop 3 分布式搭建教程
搭建 Hadoop 3 的分布式系统可以是一个复杂的过程，但只要你按照步骤逐一执行，就会发现其实大有可为。本文将带你从零开始搭建一个基本的 Hadoop 3 分布式环境。我们将分解整个流程，并提供相应的代码和注释。
## 整体流程
以下是搭建 Hadoop 3 分布式系统的整体流程：
| 步骤 | 描述 |
|------|------|
| 1
原创
2024-08-03 10:03:42
27阅读
修改/etc/hosts /etc/hostname /etc/sysconfig/network 中的主机名 1.安装jdk，配置环境变量（1./etc/profile，2.hadoop/conf/hadoop-env.sh） 直接执行之前写好的脚本2.安装ssh 、rsync yum install ssh3.解压hadoop.tar.gz (可创建软连接：#
原创
2016-06-04 13:13:21
616阅读
1.配置eclipse 1.1 下载 linux版的 eclipse 百度云 - 大数据资料专辑 1.2 解压
原创
2023-02-22 11:16:53
180阅读
Hadoop单机配置Hadoop 默认配置是以非分布式模式运行，即单 Java 进程，方便进行调
转载
2022-09-09 06:12:23
282阅读
Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分
原创
2022-12-30 15:51:44
537阅读
Hadoop是目前最常用的一个大数据分析工具，其核心组成是HDFS和MapReduce。本文对Hadoop2.0的基本安装和配置进行了一个概述，希望对Hadoop感兴趣的人能够对Hadoop有进一步的了解
原创
精选
2019-03-18 17:13:36
4001阅读
点赞
vmware虚拟机环境： 192.168.60.128 master
 
原创
精选
2017-07-26 13:30:54
4611阅读
点赞
1.背景 上篇已经学习了hadoop伪分布式安装，这篇演示一个例子；更好的理解hdfs 文件系统！2.
原创
2023-02-23 09:26:16
91阅读
多机集群中的节点可以分为master nodes和data nodes,在配置文件中使用Zen发现(Zen discovery)机制来管理不同节点。Zen发现是ES自带的默认发现机制，使用多播发现其它节点。只要启动一个新的ES节点并设置和集群相同的名称这个节点就会被加入到集群中。 Elasticse
转载
2018-04-10 09:12:00
116阅读
2评论
Elasticsearch集群中有的节点一般有三种角色:master node、data node和client node。1:master node:master几点主要用于元数据(metadata)的处理，比如索引
原创
2021-11-13 15:52:27
291阅读
