1 搭建环境部署节点操作系统为CentOS，防火墙和SElinux禁用，创建了一个shiyanlou用户并在系统根目录下创建/app目录，用于存放Hadoop等组件运行包。因为该目录用于安装hadoop等组件程序，用户对shiyanlou必须赋予rwx权限（一般做法是root用户在根目录下创建/app目录，并修改该目录拥有者为shiyanlou(chown –R shiyanlou:shiyanl
转载
2024-08-07 18:10:22
107阅读
在Hadoop集群之上安装hbase一、安装准备 首先我们确保在ubuntu16.04上安装了以下的产品，java1.8及其以上，ssh，hadoop集群，其次，我们需要从hbase的官网上下载并安装这个产品。二、开始安装 这里我介绍两种安装方式，一种是在伪分布式hadoop集群上安装hbase，另一种是在分布式hadoop集群上安装hbase。&n
转载
2024-04-22 11:51:57
64阅读
1、hadoop：它是一个分布式计算+分布式文件系统，前者其实就是MapReduce，后者是HDFS。后者可以独立运行，前者可以选择性使用，也可以不使用2、hive：通俗的说是一个数据仓库，仓库中的数据是被hdfs管理的数据文件，它支持类似sql语句的功能，你可以通过该语句完成分布式环境下的计算功能，hive会把语句转换成MapReduce，然后交给had
转载
2023-07-12 13:47:09
229阅读
前言：在hadoop生态圈中，非关系型数据库Hbase占有重要一席之地。这里介绍一下Hbase安装过程，首先需要明白的是，hbase的安装条件：1. JDK1.7+以上 2. Hadoop2.5+以上 3. Zookeeper3.4.x以上 那么下面详细介绍一下安装步骤：下载相应hadoop生态圈版本 这里推荐采用cdh下载各版本，cdh下载地址，这里我选择hadoop-2.5.0-cdh5.
转载
2023-09-20 19:53:32
618阅读
本文以三台机器组成的一个Hadoop集群的安装与配置为例。三台机器的信息如下：hostname 角色 IPdc01 mast 192.168.68.57dc02 slave 192.
转载
2024-08-02 12:05:27
112阅读
一、Hadoop3.0.3下载地址
二、HBASE2.1.0下载地址HBASE2.1.0下载地址，此版本hbase可以和Hadoop3.0.3匹配
三、jdk下载jdk下载链接，请挑选适合自己的版本
四、jdk安装解压下载好的包tar -xzvf jdk-8u
转载
2023-09-14 14:19:48
240阅读
安装需知，它是建立在hadoop 之上，并且难度大于hadoop，选择版本要与Hadoop版本匹配，如果没有选对版本就选安装上去也无法使用。1.安装准备 Hbase 的安装介质放在自己指定的目录下，解压后复制到另一个指定的目录，和前面所说的一致。2.配置环境变量 使用root 用户修改/etc/profile文件，添加HBASE_HOME 环境变量，修改PATH
转载
2024-06-15 11:22:38
182阅读
互联网大数据框架介绍（二）Hive，HBase继续上一节的hadoop，HDFS，yarn，MapReduce。这节继续想下讲，将数据仓库Hive，和大数据的数据库HBaseHive首先，我们要明确什么是Hive，Hive是构建于Hadoop的HDFS和MapReduce上，的用于管理和查询结构化/非结构化数据的数据仓库。Hive分别有三个部分组成： 1）使用HQL作为查询接口 2）使用HDF
转载
2023-09-18 19:08:59
69阅读
hadoop环境搭建好了，也学习了在eclipse中调试wordcount了，嘿嘿，下面试试hbase集成进去，年后争取顺利转入hadoop工作 首先 hadoop 和hbase版本需要对应，不然很多未知问题的 对应表如下Table 2.1. Hadoop version support matrixHadoop-0.20.205SXXHadoop-0.2
转载
2023-07-09 14:46:01
205阅读
本系列文章主要结合线上HBase环境出现一系列问题，进行分析HBCK2工具中出现问题如何具体解决，以及其中的原理及实现进行分析。危情初现我们在某项目上使用CDH版本的HBase2.1.0，某日忽然接到告警业务中断，HBase无法读写。具体原因大概是开发人员修改了个hdfs的配置，重启HDFS短期影响了业务，HDFS启动期间，又对HBase进行了重启，发生长时间不能读写了。查看HDFS和HBase的
书接上回在上次我们搭建了hadoop2.8的高可用NameNode的HA环境，并引入了zookeeper这次我们要在这个环境的基础上搭建hbase先说规划 编号主机名用途0xxCentosZeroHMaster(备用，尚未加入)1xxCentosOneHMaster2xxCentosTwoHRegionServer3xxCentosThreeHRegionServer4xxCentosFourHR
转载
2024-04-24 22:57:44
142阅读
http://www.oreillynet.com/pub/au/4685HBase: The Definitive Guide的作者 HBase Architecture 101 - Storage http://www.larsgeorge.com/2009/10/hbase-architecture-101-storage.htmlHBase最隐秘的问题之一就是它的数据是如何存储的
目录1 Phoenix简介2 版本对应关系Hadoop与Hbase版本对应关系Hbase与Phoenix版本对应关系我的版本3 phoenix安装下载解压复制jar包到hbase/lib目录下拷贝配置文件修改配置文件重启hbase启动phoenix4 踩过的坑 1 Phoenix简介Phoenix是构建在HBase上的一个SQL层，能让我们用标准的JDBC APIs而不是HBase客户端APIs
转载
2023-09-26 15:59:07
18阅读
因为工作需要，我们使用hbase + hadoop存储基于用户内容的数据(UGC)，本文将描述如何逐步搭建此平台，仅作参考。 1. 环境 操作系统：Red hat 6.3，300G硬盘，双核CPU JAVA：JDK1.6 &n
转载
2024-05-28 17:11:57
320阅读
# 如何实现“hbase与hadoop版本”的整合
## 步骤
| 步骤 | 描述 |
| ---- | ---------------------- |
| 1 | 下载HBase和Hadoop |
| 2 | 配置Hadoop |
| 3 | 配置HBase |
| 4
原创
2024-06-30 04:57:34
37阅读
hadoop1.core-site.xml1.fs.defaultFS hdfs默认端口 2.hadoop.tmp.dir Hadoop.tmp.dir是hadoop文件系统依赖的基础配置，很多路径都依赖它。它默认的位置是在/tmp/{$user}下面，但是在/tmp路径下的存储是不安全的，因为linux一次重启，文件就可能被删除。 3.fs.trash.interval 回收间隔（区间）
转载
2024-06-11 14:41:55
32阅读
Hive介绍Hive环境搭建Hive实现wordcount Hive介绍产生背景MapReduce编程的不便性 HDFS上的文件缺少Schema，无法使用SQL方式查询What?Facebook于2007年开源，最初用于解决海量结构化的日志数据统计问题 是一个构建在Hadoop之上的数据仓库 定义了一种类SQL查询语言：HQL 通常用于进行离线数据处理 底层支持多种不同的执行引擎（MR
转载
2024-09-09 17:26:23
98阅读
本系列主要总结下Zookeeper的基础使用，笔者准备写四篇文章：博文内容资源链接Linux下搭建Zookeeper运行环境Zookeeper入门，一篇就够啦Zookeeper客户端ZkClient、Curator的使用，史上最详细的教程来啦~Zookeeper使用总结（进阶篇） 文章目录前言1 初识Zookeeper2 Zookeeper运行环境3 zoo.cfg配置文件详解4 Zookeepe
转载
2024-10-10 12:01:45
37阅读
HBase和Phoenix是两个常用的开源分布式数据库，它们可以相互兼容使用。对于初学者来说，了解HBase与Phoenix版本的兼容情况是非常重要的。本文将指导你如何实现“HBase与Phoenix版本兼容列表”。
## 1. 定义需求和目标
在开始之前，我们首先需要明确需求和目标。我们的目标是创建一个HBase与Phoenix版本兼容列表，该列表将列出每个HBase版本与其对应的Phoen
原创
2024-01-27 05:25:02
236阅读
一、Sqoop介绍：数据迁移工具Sqoop用于在Hadoop(HDFS)和关系型数据库之间，进行数据的迁移。 Sqoop的导入：将关系型数据库中的数据导入到HDFS中 Sqoop的导出：将HDFS的数据导出到关系型数据中 本质：将导入或导出命令翻译成 MapReduce 程序来实现 在翻译出的 MapReduce 中主要是对 InputFormat 和 OutputFormat 进行定制二、Sqo
转载
2023-12-21 13:25:18
169阅读
