Hbase是一个分布式的、面向列的开源数据库，是构建在HDFS分布式文件系统上的分布式存储系统。1.下载安装官网下载地址apache.fayea.com/hbase/，这里选择1.1.9版本hbase-1.1.9-bin.tar.gz。1.1 abase-site.xml解压文件到文件夹，进入/conf文件夹，打开hbase-site.xml，加入以下配置：<configuration>
转载
2024-04-23 09:55:17
28阅读
简述了自己搭建Hadoop伪分布式的过程，方便以后查看参考。
环境：Vmware10+RedHat6.3+hadoop2.2.0+JDK1.7
Hadoop模式：
本地模式：只能其一个reduce和一个map，用于调试
伪分布式模式：通过一台机器模拟分布式，在学习时使用。验证逻辑是否正确
集群模式：工作的模
转载
2024-02-05 10:30:39
54阅读
伪分布式模式也是在一台单机上运行，集群中的结点由一个NameNode和若干个DataNode组，另有一个SecondaryNameNode作为NameNode的备份。一个机器上，既当namenode，又当datanode,或者说既是jobtracker，又是tasktracker。没有所谓的在多台机器上进行真正的分布式计算，故称为"伪分布式"。开启多个进程模拟完全分布式，但是并没有真正提高程序执行
转载
2023-07-24 09:29:30
295阅读
hadoop的基本概念：Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（h
转载
2023-07-14 19:59:44
61阅读
一、HBase介绍 HBase是一个分布式的、面向列的开源数据库,源于Google的一篇论文《BigTable：一个结构化数据的分布式存储系统》。HBase以表的形式存储数据，表有行和列组成，列划分为若干个列族/列簇(column family)。欲了解HBase的官方资讯，请访问HBase官方网站。 HBase的运行有三种模式：单机模式、伪分布式模式、分布式模式。单机模式：在一台计算机上安装和使
转载
2023-08-05 18:21:02
132阅读
安装单机模式的hadoop无须配置，在这种方式下，hadoop被认为是一个单独的java进程，这种方式经常用来调试。所以我们讲下伪分布式安装hadoop.我们继续上一章继续讲解，安装完先试试SSH装上没有,敲命令,注意：这个安装是hadoop伪分布式的安装，配置集群我在后面讲！！！！！！！！ls -a如果没有ssh,输入命令ssh 查看ssh loc
转载
2023-07-20 19:25:48
120阅读
随着大数据时代的到来，单个计算机已经满足不了海量数据的计算要求，所以hadoop也随之兴起，且使用的越来越广泛。一、搭建hadoop前提Hadoop的使用必须有jdk的环境，在Liunx下搭建Hadoop是一定要注意Hadoop的版本和jdk版本是否符合。这提供一个官方文档链接：https://wiki.apache.org/hadoop/HadoopJavaVersionshadoop3.1 链
转载
2024-07-19 09:40:02
33阅读
在一台机器上实现伪分布式hadoop环境的搭建。ADOOP集群规划主机名（hostname）安装软件运行进程pdmnameNode、resourceManager、datanode、nodemanager、secondary namenodehadoop-2.7.1HADOOP集群安装步骤下面步骤以root用户登陆系统，来进行设置。1.设置静态ipVi /etc/sysconfig/network
转载
2023-07-12 22:39:26
0阅读
一：伪分布式伪分布式顾名思义就是把软件装在一台服务器上，但操作方式与完全分布式集群没有任何区别，一般用于做测试时使用安装与配置：我使用的环境是CentOS-7、Hadoop-2.7.3、JDK-1.81、解压软件包tar -zxf hadoop.tar.gz -C /opt
tar -zxf jdk.tar.gz -C /opt2、配置环境变量vi /etc/profile
# 在末尾追加后保存
转载
2023-07-12 23:17:17
482阅读
本地文件运行Hadoop 案例-02HDFS上运行MapReduce 程序notpad++连接虚拟机修改配置文件修改hadoop-env.sh文件,env结尾的文件都是修改里面的java路径修改core-site.xml,指定Namenode路径下面这是用的notpad++的ftp功能,这个属性官网上查到默认是在本地的file:///三个斜杠表示本地的意思.修改成自己的ip地址.因为现在是为分布式
转载
2023-11-06 20:28:18
12阅读
思考1：为什么学习Hadoop？ 思考2：Hadoop能解决什么问题？ 一个小小的建议：我们每次再安装、配置应用时，最好从虚拟机开始，一步步安装一、Hadoop概述Apache提供的开源技术
除了Apache提供的，还有Cloudera的CDH，华为的HDP
发展历史（略）
安装方式
单机：下载安装包，直接解压就能使用。单机只能使用mapReduce。所有数据存储在本机文件系统中
转载
2023-07-24 13:26:18
77阅读
一个偶然的机会，让我进了hadoop这个坑。我不得不说，Google真是个非常厉害的公司。为计算机行业贡献了很多亮瞎双眼额技术。初入Hadoop一般都要了解HDFS，YARN，Mapreduce。现在来总结一下Hadoop分布式集群的搭建过程。1.首先准备好相应的安装包，同时在你的服务器上配置好jdk。完成后通过tar -zxvf jdk.tar.gz(文件名)进行解压进入jdk 目录 输入pwd
转载
2023-07-14 09:48:54
104阅读
前两天在Mac OS 10.8.1上搭建了hadoop伪分布式系统，这两天自娱自乐，用java写了个word count程序，在上面运行成功。因为java不是我主要编程语言，而且控制台下编译环境也不熟，又是在业余时间自己折腾，因此折腾了几天，呵呵，惭愧。下面记录下整个过程，包括这两天踩到的各种坑儿。1. word count 程序撰写这个容易，打开vim，直接按照教科书上的内容敲代码进去。不过用v
转载
2024-07-01 17:36:47
51阅读
Hadoop运行模式包括：本地模式、伪分布式模式，以及完全分布式模式。 1、本地模式 安装简单，在一台机器上运行服务，几乎不用做任何配置，但仅限于调试用途。没有分布式文件系统，直接读写本地操作系统的文件系统。 2、伪分布式模式 在单节点上同时启动namenode、datanode、jobtracker、tasktracker、secondary namenode等进程，模拟分布式运行的各个节点。配
转载
2023-11-01 19:16:58
141阅读
完成Hbase的下载、安装Hbase是一个高可靠性、高性能、面向列、可伸缩的分布式数据库。利用Hbase技术可在廉价PC Server上搭建起大规模结构化存储集群。Hbase是非关系型数据库，它不要求数据之间有严格的关系，同时它允许在同一列不同行中存储不同类型的数据。Hbase作为Hadoop框架下的数据库，是被设计成在一个服务器集群上运行的。OS：Ubuntu 16.04.6 LTSJDK：v1
转载
2023-08-18 23:17:30
120阅读
Hadoop单节点集群部署注：新手菜鸟一枚，参照过程中如发现错误，请谅解，如有疑问请留言。【包含内容】HDFS 部署YARN部署Spark on YARNHbaseHive一、HDFS部署Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统（Hadoop
转载
2023-07-25 18:38:44
189阅读
大数据 文章目录前言一、下载安装包二、安装步骤2.1.解压hadoop安装包2.2修改环境变量2.3 本地免密登录2.3.1 执行一下命令2.3.2 测试是否生效2.4 修改配置文件2.4.1 修改/root/tools/hadoop-3.2.4/etc/hadoop目录下的core-site.xml2.4.2 修改/root/tools/hadoop-3.2.4/etc/hadoop目录hdfs
转载
2023-08-21 12:15:17
114阅读
CentOS下Hadoop伪分布模式安装笔记 一. 前言Hadoop 伪分布式模式是在单机上模拟 Hadoop 分布式，单机上的分布式并不是真正的伪分布式，而是使用线程模拟分布式。Hadoop 本身是无法区分伪分布式和分布式的，两种配置也很相似，唯一不同的地方是伪分布式是在单机器上配置，数据节点和名字节点均是一个
转载
2023-07-25 18:41:56
288阅读
目录1.安装JDK2.安装Hadoop3.文件配置4.启动集群5.查看集群 在开始Hadoop伪分布式环境搭建之前，需要完成这些准备工作。1.安装JDK 安装JDK之前,需要卸载系统中自带的JDK。[root@master ~]# java -version
openjdk version "1.8.0_131"
Open
转载
2023-09-20 12:02:24
98阅读
一、HBase的安装模式 ①单机安装：不依赖于Hadoop的HDFS，配置完即可使用，好处是便于测试，坏处是不具备分布式数据存储的能力。 ②伪分布式安装：单台主机模拟真实环境。 ③完全分布式安装：多台主机（虚拟机）来搭建二、搭建准备 ①搭建Hadoop+JDK+ZooKeeper（3个zookeeper集群模式，博主其他博文中已安装-------zookeeper集群的搭建（3台虚拟机））
转载
2023-10-06 18:39:22
72阅读
