hadoop 慢查询 hadoop数据库通过什么查询

转载

mob64ca140b466e 2023-10-06 21:03:59

文章标签 hadoop 慢查询数据库大数据 hadoop hbase 文章分类 Hadoop 大数据

简介

Hadoop database 的简称，也就是基于Hadoop面向列的分布式数据表数据库，是一种NoSQL数据库，主要适用于海量明细数据（十亿、百亿）的随机实时查询，如日志明细、交易清单、轨迹行为

为查询而生，通过阻止节点内所有机器的内存，提供超大的内存Hash表

HBase与Hive的区别

Hive数据仓库，能够通过SQL来计算和处理HDFS上的结构化数据，适用于离线的批量数据计算

Hbase数据库，主要用于查询，用于海量明细数据的随机查询

Hive是高延迟、结构化和面向分析的，HBase是低延迟、非结构化和面向编程的。Hive数据仓库在hadoop上是高延迟的。

两者之间的关系

通过ETL工具将数据源抽取到HDFS存储；
通过Hive清洗、处理和计算原始数据，当然目前来说用spark更加方便；
清洗处理后的结果，如果是面向海量数据随机查询场景的可存入HBase;
数据应用从HBase查询数据；

下载安装

下载地址:http://archive.apache.org/dist/hbase/

我这里个人的
链接：https://pan.baidu.com/s/1t9N5jnqYqQ-eGDyHag6gkA
提取码：98hj

解压

tar -zxvf hbase-1.2.0-cdh5.15.1.tar.gz

hadoop 慢查询 hadoop数据库通过什么查询_数据库

进入到hbase的conf目录下修改hbase-env.sh文件

hadoop 慢查询 hadoop数据库通过什么查询_数据库_02

export JAVA_HOME=/root/app/jdk1.8.0_231
export HADOOP_HOME=/root/app/hadoop-2.6.0-cdh5.15.1
export HBASE_HOME=/root/app/hbase-1.2.0-cdh5.15.1

export HBASE_MANAGERS_ZK=true

注意对应自己的目录哦

修改hbase-site.xml文件

hadoop 慢查询 hadoop数据库通过什么查询_hbase_03

<!-- hbase存放数据目录 -->
  <property>
    <name>hbase.rootdir</name>
    <value>file:///data/soft/hbase/hbase</value>
  </property>

  <!-- ZooKeeper数据文件路径 -->
  <property>
    <name>hbase.zookeeper.property.dataDir</name>
    <value>/data/soft/hbase/zookeeper</value>
  </property>

  <property>
    <name>hbase.unsafe.stream.capability.enforce</name>
    <value>false</value>
    <description>
      Controls whether HBase will check for stream capabilities (hflush/hsync).

      Disable this if you intend to run on LocalFileSystem, denoted by a rootdir
      with the 'file://' scheme, but be mindful of the NOTE below.

      WARNING: Setting this to false blinds you to potential data loss and
      inconsistent system state in the event of process and/or node failures. If
      HBase is complaining of an inability to use hsync or hflush it's most
      likely not a false positive.
    </description>
  </property>

先启动HDFS,再启动hbase

hbase的bin目录下的./start-hbase.sh 命令

hadoop 慢查询 hadoop数据库通过什么查询_大数据_04