互联网大数据框架介绍（二）Hive，HBase继续上一节的hadoop，HDFS，yarn，MapReduce。这节继续想下讲，将数据仓库Hive，和大数据的数据库HBaseHive首先，我们要明确什么是Hive，Hive是构建于Hadoop的HDFS和MapReduce上，的用于管理和查询结构化/非结构化数据的数据仓库。Hive分别有三个部分组成： 1）使用HQL作为查询接口 2）使用HDF
转载
2023-09-18 19:08:59
69阅读
1 搭建环境部署节点操作系统为CentOS，防火墙和SElinux禁用，创建了一个shiyanlou用户并在系统根目录下创建/app目录，用于存放Hadoop等组件运行包。因为该目录用于安装hadoop等组件程序，用户对shiyanlou必须赋予rwx权限（一般做法是root用户在根目录下创建/app目录，并修改该目录拥有者为shiyanlou(chown –R shiyanlou:shiyanl
转载
2024-08-07 18:10:22
107阅读
1、hadoop：它是一个分布式计算+分布式文件系统，前者其实就是MapReduce，后者是HDFS。后者可以独立运行，前者可以选择性使用，也可以不使用2、hive：通俗的说是一个数据仓库，仓库中的数据是被hdfs管理的数据文件，它支持类似sql语句的功能，你可以通过该语句完成分布式环境下的计算功能，hive会把语句转换成MapReduce，然后交给had
转载
2023-07-12 13:47:09
229阅读
hadoop1.core-site.xml1.fs.defaultFS hdfs默认端口 2.hadoop.tmp.dir Hadoop.tmp.dir是hadoop文件系统依赖的基础配置，很多路径都依赖它。它默认的位置是在/tmp/{$user}下面，但是在/tmp路径下的存储是不安全的，因为linux一次重启，文件就可能被删除。 3.fs.trash.interval 回收间隔（区间）
转载
2024-06-11 14:41:55
32阅读
在Hadoop集群之上安装hbase一、安装准备 首先我们确保在ubuntu16.04上安装了以下的产品，java1.8及其以上，ssh，hadoop集群，其次，我们需要从hbase的官网上下载并安装这个产品。二、开始安装 这里我介绍两种安装方式，一种是在伪分布式hadoop集群上安装hbase，另一种是在分布式hadoop集群上安装hbase。&n
转载
2024-04-22 11:51:57
64阅读
前言：在hadoop生态圈中，非关系型数据库Hbase占有重要一席之地。这里介绍一下Hbase安装过程，首先需要明白的是，hbase的安装条件：1. JDK1.7+以上 2. Hadoop2.5+以上 3. Zookeeper3.4.x以上 那么下面详细介绍一下安装步骤：下载相应hadoop生态圈版本 这里推荐采用cdh下载各版本，cdh下载地址，这里我选择hadoop-2.5.0-cdh5.
转载
2023-09-20 19:53:32
618阅读
一、Hadoop3.0.3下载地址
二、HBASE2.1.0下载地址HBASE2.1.0下载地址，此版本hbase可以和Hadoop3.0.3匹配
三、jdk下载jdk下载链接，请挑选适合自己的版本
四、jdk安装解压下载好的包tar -xzvf jdk-8u
转载
2023-09-14 14:19:48
243阅读
安装需知，它是建立在hadoop 之上，并且难度大于hadoop，选择版本要与Hadoop版本匹配，如果没有选对版本就选安装上去也无法使用。1.安装准备 Hbase 的安装介质放在自己指定的目录下，解压后复制到另一个指定的目录，和前面所说的一致。2.配置环境变量 使用root 用户修改/etc/profile文件，添加HBASE_HOME 环境变量，修改PATH
转载
2024-06-15 11:22:38
182阅读
本文以三台机器组成的一个Hadoop集群的安装与配置为例。三台机器的信息如下：hostname 角色 IPdc01 mast 192.168.68.57dc02 slave 192.
转载
2024-08-02 12:05:27
112阅读
PS： 使用hbase前，请务必先安装好Hadoop,并且启动Hadoop的服务后才可以正常使用hbase！ Hadoop安装地址：Hadoop安装 目录一、Zookeeper安装及配置1.解压&授权2.Zookeeper配置
转载
2023-07-24 08:55:08
127阅读
书接上回在上次我们搭建了hadoop2.8的高可用NameNode的HA环境，并引入了zookeeper这次我们要在这个环境的基础上搭建hbase先说规划 编号主机名用途0xxCentosZeroHMaster(备用，尚未加入)1xxCentosOneHMaster2xxCentosTwoHRegionServer3xxCentosThreeHRegionServer4xxCentosFourHR
转载
2024-04-24 22:57:44
142阅读
本系列文章主要结合线上HBase环境出现一系列问题，进行分析HBCK2工具中出现问题如何具体解决，以及其中的原理及实现进行分析。危情初现我们在某项目上使用CDH版本的HBase2.1.0，某日忽然接到告警业务中断，HBase无法读写。具体原因大概是开发人员修改了个hdfs的配置，重启HDFS短期影响了业务，HDFS启动期间，又对HBase进行了重启，发生长时间不能读写了。查看HDFS和HBase的
症状：一插u盘就总是提示：无法识别的usb设备：跟这台计算机连接的一个usb设备运行不正常，windows无法识别。可是移动硬盘使用上一点问题也没有。系统始终出现“无法识别的usb设备”。打开“设备管理器”的“通用串口总线控制器”发现有“unkown device”设备，怀疑驱动出现问题，但感觉不太可能，抱着试试看的态度，按照打印机驱动安装要求重新安装驱动，故障依旧。后发现插入u盘也出现“无法识别
转载
2024-07-31 08:51:00
136阅读
文章目录1 系统版本2 配置环境变量3 验证安装3.1 验证JAVA3.2 验证Hadoop4 配置Hadoop4.1 hadoop-env.cmd4.2 core-site.xml4.3 hdfs-site.xml4.4 yarn-site.xml4.5 mapred-site.xml4.6 替换winutils4.7 adoop-yarn-server-timelineservice-3.1
转载
2023-08-18 20:43:05
1433阅读
1、历史背景产生原因内因hadoop之mapreduce/hdfs/hive等适合做批量数据处理，且只能以顺序方式访问数据。外因现实开发应用场景中，经常需要海量数据场景下的实时数据随机访问的需求，hadoop作为大数据的承载和计算平台应该予以满足。2、hbase概述 hbase介绍hadoop database的简称hbase是一个数据模型，属于hadoop生态系统的一部分，提供对海量数
转载
2023-09-06 09:49:03
55阅读
一、Hbase概念剖析Hbase 是Hadoop Database的简称，本质上来说就是Hadoop系统的数据库。Hbase 是Hadoop Database的简称，本质上来说就是Hadoop系统的数据库，为Hadoop框架当中的结构化数据提供存储服务，是面向列的分布式数据库。这一点与HDFS是不一样的，HDFS是分布式文件系统，管理的是存放在多个硬盘上的数据文件，而Hbase管理的是类似于Key
转载
2023-07-21 14:57:18
89阅读
Hadoop简介Hadoop是一个开源框架来存储和处理大型数据在分布式环境中。包含两个模块，一个是MapReduce，另一个是Hadoop分布式文件系统（HDFS）。MapReduce：是一种并行编程模型，在大型集群普通硬件可用于处理大型结构化，半结构化和非结构化数据。HDFS：Hadoop分布式文件系统是Hadoop框架的一部分，用于存储和处理数据集。提供了一个容错文件系统在普通硬件上运行。Ha
0.HbaseHbase和hive的区别 共同点： 1.hbase与hive都是架构在hadoop之上的。都是用hadoop作为底层存储区别： 2.Hive是建立在Hadoop之上为了减少MapReduce jobs编写工作的批处理系统，HBase是为了支持弥补Hadoop对实时操作的缺陷的项目 。 3.想象你在操作RMDB数据库，如果是全表扫描，就用Hive+Hadoop,如果是索引访问，就用H
转载
2023-07-12 13:46:48
290阅读
1. hadoop 它是一个分布式计算+分布式文件系统，前者其实就是MapReduce，后者是HDFS。后者可以独立运行，前者可以选择性使用，也可以不使用2. hive 通俗的说是一个数据仓库，仓库中的数据是被hdfs管理的数据文件，它支持类似sql语句的功能，你可以通过该语句完成分布式环境下的计算功能，hive会把语句转换成MapReduce，然后交给hadoop执行。这里的计算，仅限于查找和分
转载
2023-09-10 19:49:21
152阅读
一、了解HBase1.1 HBase概述HBase 是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，用于存储海量的结构化或者半结构化，非结构化的数据HBase是Hadoop的生态系统之一，是建立在Hadoop文件系统（HDFS）之上的分布式、面向列的数据库，通过利用Hadoop的文件系统提供容错能力。如果需要进行实时读写或者随机访问大规模的数据集的时候，会考虑使用HBase。1.2 HBa
转载
2023-07-13 14:28:48
440阅读
