Hadoop 可以在单节点上以伪分布式的方式运行，Hadoop 进程以分离的 Java 进程来运行，节点既作为 NameNode 也作为 DataNode。Hadoop 的配置文件位于 /usr/local/hadoop/etc/hadoop/ 中，伪分布式需要修改3个配置文件 core-site.xml 、h
原创
2022-09-10 00:44:32
158阅读
上面的单机模式，grep 例子读取的是
原创
2022-09-27 10:23:41
177阅读
hadoop2.7.7集群使用kerberos1.18.1进行授权验证(二) 介绍上一篇我们搭建完成了hadoop集群中的kerberos，并完成了验证，接着我们就要设置hadoop来使用Kerberos了。集群概况再介绍下集群情况：centeros7.5 hadoop2.7.7集群中有机器三台其中181是 namenode和datanode，其他2台是datanode10.106.1
转载
2023-09-14 08:26:58
89阅读
Hadoop 2.7.1 (2015-7-6更新)，Hadoop的环境配置不是特别的复杂，可是确实有非常多细节须要注意。不然会造成很多配置错误的情况。尽量保证一次配置正确防止重复改动。 网上教程有非常多关于Hadoop配置的，可是每个教程都相应了一个版本号信息。有一些教程也存在非常大的问题，配置环境
转载
2017-06-28 08:52:00
94阅读
2评论
todo list主机名分别为192.168.1.51 hadoop01 hadoop01.appcook.in
192.168.1.52 hadoop02 hadoop02.appcook.in
192.168.1.53 hadoop03 hadoop03.appcook.in配置免密码登录在每台机器上执行ssh-keygen -t rsa， 然后一路回车，生产秘钥和私钥 在这三台机器上做免
原创
2023-05-10 22:26:02
86阅读
综合描述Apache Hadoop 2.7.1 是2.x.y版本发布的一个支线，它是在2.7.0的基础上建立的。这是2.6.x版本之后的一个稳定版本。以下是该版本主要特点概要描述和对2.6.x版本的改进： ·注意事项 ·这个版本不再支持JDK6，并且仅仅支持JDK7及以上版本。 ·支持平台·支持Windows Azure 存
转载
2023-07-24 11:37:09
62阅读
1.申明：在看本博客之前：请务必完全按照以下的步骤去做完全一样的的，不要去修改，否则容易出错。 实验环境：VMware Workstation Pro14, centos7镜像，hadoop102为主节点hadoop103和hadoop104为子节点。 符：资源下载hadoop2.7.2和jdk1.8点我进去：提取码：t5 xb在VM上新建一台虚拟机hadoop100，然后从这台原始的
转载
2023-07-12 13:11:17
42阅读
三台机器 CentOS7（机器名分别为master-CentOS7、slave1-CentOS7、slave2-CentOS7），每台机器内存2G（迫于无奈，刚换了内存条）wordcount统计单词master-CentOS7（已启动Hadoop集群）[root@master ~]# cd /usr/local/hadoop/
[root@master hadoop]# bin/hdfs dfs
转载
2023-07-24 21:39:40
51阅读
前提：熟悉Linux系统操作，掌握基本的Linux命令注意：安装路径中不能有任何中文字符和空格！我安装的是ubuntu14，用户名是ubuntu，机器名是ubuntu，hadoop的版本是hadoop-2.7.1.tar.gz一、在Ubuntu下创建hadoop用户组和用户1、 将hadoop用户添加到系统用户ubuntu@ubuntu:~$ sudo addgroup hadoop
转载
2024-01-26 10:11:28
132阅读
= hadoop2.7.1安装初上手 =
''create by ymc023''
==== 一.环境准备 ====
1.virtualbox 虚拟机3台
原创
2016-11-25 15:43:36
308阅读
# Hadoop 3 分布式搭建教程
搭建 Hadoop 3 的分布式系统可以是一个复杂的过程，但只要你按照步骤逐一执行，就会发现其实大有可为。本文将带你从零开始搭建一个基本的 Hadoop 3 分布式环境。我们将分解整个流程，并提供相应的代码和注释。
## 整体流程
以下是搭建 Hadoop 3 分布式系统的整体流程：
| 步骤 | 描述 |
|------|------|
| 1
原创
2024-08-03 10:03:42
27阅读
修改/etc/hosts /etc/hostname /etc/sysconfig/network 中的主机名 1.安装jdk，配置环境变量（1./etc/profile，2.hadoop/conf/hadoop-env.sh） 直接执行之前写好的脚本2.安装ssh 、rsync yum install ssh3.解压hadoop.tar.gz (可创建软连接：#
原创
2016-06-04 13:13:21
616阅读
一、环境和软件： 1.vmware10+ubuntu14.04(32bit) 查看linux操作系统位数：getconf LONG_BIT 2.jdk1.8.0_60（注意要和linux系统位数一致，我的为32位） hadoop2.7.1二、Hadoop 2.0安装部署流程 1.安装jdk 2.Hadoop 2.0单机版安装部署 步骤1：将安装包hadoop-2.2.0.tar.gz
转载
2023-08-06 11:24:06
68阅读
一、安装系统虚拟软件 ： VMware workstation 10系统： Centos 6.4 32bitMaster IP : 192.168.56.131Slave IP : 192.168.56.132User & pass: hadoop注：一台充当master(namenode)，一台充当slave(datanode)。这是最小
原创
2015-05-15 19:18:24
146阅读
一、安装系统虚拟软件 ： VMware workstation 10系统： Centos 6.4 32bitMaster IP : 192.168.56.131Slave IP : 192.168.56.132User & pass: hadoop注：一台充当master(namenode)，一台充当slave(datanode)。这是最小
原创
2022-04-22 17:21:04
267阅读
1 分布式事务了解分布式事务之前，应该先了解分布式系统，事务，本地事务等基本概念。
原创
2023-02-01 07:09:52
65阅读
1.前言说明：安装hive前提是要先安装hadoop集群，并且hive只需要再hadoop的namenode节点集群里安装即可(需要再所有namenode上安装)，可以不在datanode节点的机器上安装。另外还需要说明的是，虽然修改配置文件并不需要你已经把hadoop跑起来，但是本文中用到了hadoop命令，在执行这些命令前你必须确保hadoop是在正常跑着的，而且启动hive的前提也是需要ha
转载
2023-11-20 15:25:56
107阅读
想学习一下云计算，因此在自己笔记本上折腾一下hadoop的安装，经过昨天一天的学习和配置，终于运行起来了，虽然有些配置也不是很懂，但是最起码能把环境搭建起来，接下来就好好学习一下吧。先说一下自己搭建的环境，用虚拟机搭建的两个节点，一个Master作为主节点，一个Node作为从节点，具体信息如下表。机器名称IP操作系统Master10.0.0.100RHEL 6.0 32位Node10.0.0.10
转载
2023-10-27 00:55:07
61阅读
1.安装前，准备三台CENTOS 6.6系统的主机或虚机,并且关闭防火墙及selinux.2.按如下表格配置IP地址，修改hosts文件及本机名192.168.199.21 hadoop21 Master102.168.199.22 hadoop22 Slave1192.168.199.23 hadoop23 Slave2同理修改S
原创
2016-08-06 17:19:28
1313阅读
0 简介：一共5个节点，hadoop0(namenode,jobtracker), hadoop1(secondn
原创
2023-04-20 18:36:48
28阅读
