一、HBase的安装模式 ①单机安装：不依赖于Hadoop的HDFS，配置完即可使用，好处是便于测试，坏处是不具备分布式数据存储的能力。 ②伪分布式安装：单台主机模拟真实环境。 ③完全分布式安装：多台主机（虚拟机）来搭建二、搭建准备 ①搭建Hadoop+JDK+ZooKeeper（3个zookeeper集群模式，博主其他博文中已安装-------zookeeper集群的搭建（3台虚拟机））
转载
2023-10-06 18:39:22
63阅读
一台机器的各个进程上运行hadoop多个模块，但并不是真正的分布式，因为是一台机器。但是HDFS和MapReduce，还有yarn等模块都运行起来了。因此掌握伪模式的配置较为重要。一、创建用户使用hadoop框架useradd hadoop
passwd hadoop然后给hadoop以root的权限，这样比较方便，当然真正配置分布式时不能给这么大权限。vim /etc/sudoers添加如下ro
转载
2023-09-20 12:02:27
116阅读
注意： 以下操作都在Master(DW1)节点进行下载二进制包spark-2.1.1-bin-hadoop2.7.tgz解压并移动到相应目录，命令如下：tar -zxvf spark-2.1.1-bin-hadoop2.7.tgz修改相应的配置文件修改/etc/profie，增加如下内容：export SPARK_HOME=/home/heitao/Soft/spark
export PATH=$
大数据从入门到实战 - HBase 伪分布式环境搭建一、关于此次实践1、实战简介2、全部任务二、实践详解1、第1关：伪分布式环境搭建 叮嘟！这里是小啊呜的学习课程资料整理。好记性不如烂笔头，今天也是努力进步的一天。一起加油进阶吧！ 一、关于此次实践1、实战简介通过学习单机版HBase安装与hbase shell常用操作之后，我们就可以来开始配置HBase的伪分布式环境以及完全分布式环境了，伪分布
转载
2023-07-12 16:58:03
114阅读
最近刚自己又分别搭了一次Hadoop的两个环境，主要是给想学习Hadoop刚开始的环境搭建以及遇到的一些问题。因为刚开始自己Hadoop也是自学的所以遇上了很多问题，这次比较顺利，Hadoop学习的基础肯定是java和Linux，下面我就从伪分布式开始说一下其中的步骤和遇上的问题。其中虚拟机用的是Centos 6的版本，这个用起来比较方便，建议用mini版
转载
2023-07-09 14:43:50
128阅读
Hadoop伪分布式环境搭建1.操作系统安装2.环境配置1.网络环境配置2.运行环境配置3.软件配置1.Hadoop配置文件4.使用操作 1.操作系统安装安装CentOS 72.环境配置1.网络环境配置·静态IP（从外部xshell登录以及xftp文件传输）1.设置静态IP和IP地址ip addr #查看IP
vi /etc/sysconfig/network-scripts/ifcfg-ens
Hadoop安装一.打开MobaXterm（前提：把虚拟机要打开）二.输入`cd software`来到software目录下，导包，找到下面框选出的两个压缩文件，复制到software目录下，如下图所示三.输入`tar -zxvf hadoop-2.6.0-cdh5.14.2.tar.gz`对hadoop安装包进行解压，然后回车一顿解压解压完成后，可以输入`ll`查看当前文件，有一个hadoo
转载
2023-07-09 15:07:51
196阅读
HDFS概述及设计目标什么是HDFS：是Hadoop实现的一个分布式文件系统（HadoopDistributedFileSystem），简称HDFS源自于Google的GFS论文论文发表于2003年，HDFS是GFS的克隆版HDFS的设计目标：非常巨大的分布式文件系统运行在普通廉价的硬件上易扩展、为用户×××能不错的文件存储服务，也就是容错性HDFS官方文档地址如下：https://hadoop.
原创
精选
2018-03-24 19:51:20
10000+阅读
点赞
1 HDFS概述及设计目标1.1 什么是HDFS：Hadoop实现的一个分布式文件系统（Hadoop Distributed File System），简称HDFS源自于Google的GFS论文论文发表于2003年，HDFS是GFS的克隆版1.2 HDFS的设计目标：非常巨大的分布式文件系统运行在普通廉价的硬件上易扩展、为用户提供性能不错的文件存储服务HDFS官方文档地...
原创
2022-01-18 11:24:54
239阅读
# HBase伪分布式环境搭建
在大数据领域中，HBase是一个非常常用的分布式数据库。在实际应用中，我们通常需要在本地环境搭建一个伪分布式的HBase环境，以便进行开发和测试。本文将介绍如何在本地环境中搭建HBase伪分布式环境，并提供相应的代码示例。
## 步骤一：安装HBase
首先，我们需要安装HBase。请根据操作系统的不同，选择相应的安装方式。以Ubuntu为例，可以通过以下命令
原创
2023-07-23 15:57:47
329阅读
1 HDFS概述及设计目标1.1 什么是HDFS：Hadoop实现的一个
原创
2021-08-16 09:43:52
4588阅读
# Hbase 伪分布式环境搭建指南
## 简介
在本文中，我将向你展示如何通过搭建 Hbase 伪分布式环境来加深你对 Hbase 的理解。Hbase 是一个开源的分布式列式数据库系统，适用于海量数据的存储和读写。通过搭建伪分布式环境，你可以模拟真实的分布式环境，并进行开发和测试。
## 搭建步骤
下面是搭建 Hbase 伪分布式环境的步骤：
| 步骤 | 描述 |
| --- | --
原创
2023-07-24 12:12:17
78阅读
一． IP和主机名称配置 1.配置ip vim /etc/sysconfig/network-scripts/ifcfg-ens33 2.配置主机名称 vim /etc/hostname 3.主机名称的映射 vim /etc/hosts 二． 安装jdk 1.查找并卸载系统自带的jdk rpm -q ...
转载
2021-08-14 20:32:00
259阅读
2评论
# 搭建Hadoop伪分布式环境教程
## 一、整体流程
```mermaid
flowchart TD
A(准备工作)
B(安装Hadoop)
C(配置Hadoop)
D(启动Hadoop)
E(验证Hadoop)
A --> B --> C --> D --> E
```
## 二、详细步骤
### 1. 准备工作
在开始搭建Hadoo
伪分布式：只需要一个虚拟机，所有节点都在该虚拟机上1.首先，需要安装JDK，将上传的jdk解压tar -zxvf jdk压缩包2.配置环境变量，位置：/etc/profileexport JAVA_HOME=/opt/software/jdk1.8.0_121
export PATH=$PATH:$JAVA_HOME/bin注：两个地方都能配置 用户变量&nb
搭建hadoop单机环境（伪分布式）一、准备工作1.安装包下载：2.创建一个新的虚拟机二、解压安装jdk及hadoop三、修改环境及配置文件1.设置免密登录2.配置jdk3.配置hadoop1）修改hadoop-env.sh2）修改core-site.xml3）修改hdfs-site.xml4）修改mapred-site.xml.template5）修改yarn-site.xml6）配置hado
Hadoop伪分布式环境搭建： 自动部署脚本： 运行脚本： ssh免密码登录过程：
原创
2021-07-22 16:58:31
269阅读
在这篇blog中，我们将介绍Hbase的单机模式安装与伪分布式的安装方式，以及通过浏览器查看Hbase的用户界面。搭建hbase伪分布式环 境的前提是我们已经搭建好了hadoop完全分布式环境，搭建hadoop环境请参考：【Hadoop基础教程】4、Hadoop之完全分布式环境搭建开发环境硬件环境：Centos 6.5 服务器4台（一台为Master节点，三台为Slave节点） 软件环境：Java
阅读目录(Content)一、Hadoop的三种运行模式（启动模式）
1.1、单机模式（独立模式）（Local或Standalone Mode）1.2、伪分布式模式（Pseudo-Distrubuted Mode）1.3、全分布式集群模式（Full-Distributed Mode）二、搭建伪分布式集群的前提条件
2.1、能够正常运行的Ubuntu操作系统2.2、安装J
转载
2023-10-18 18:41:30
0阅读
一、Hadoop运行模式 Local (Standalone) Mode 本地模式 适用于开发人员测试Debug 使用本地文件系统 Pseudo-Distributed Mode 伪分布式模式 适用于开发人员测试Debug 使用HDFS文件系统 Fully-Distributed Mode 完全分布式模式 适用于生产环境服务器集群 使用HDFS文件系统 二、环境准备 （环境及软件工具版本仅供参考）
转载
2023-08-31 13:08:16
343阅读
