hbase phoenix使用 hbase phoenix 性能

转载

编程小天匠 2023-07-14 22:01:44

文章标签 hbase phoenix使用数据 ci 安装包 文章分类 Hbase 数据库

Phoenix是构建在HBase上的一个SQL层，能让我们用标准的JDBC APIs而不是HBase客户端APIs来创建表，插入数据和对HBase数据进行查询。

Phoenix完全使用Java编写，作为HBase内嵌的JDBC驱动。Phoenix查询引擎会将SQL查询转换为一个或多个HBase扫描，并编排执行以生成标准的JDBC结果集。直接使用HBase API、协同处理器与自定义过滤器，对于简单查询来说，其性能量级是毫秒，对于百万级别的行数来说，其性能量级是秒。

phoenix的下载网址为：(http://www.apache.org/dyn/closer.lua/phoenix/phoenix-5.1.1/phoenix-hbase-2.1-5.1.1-bin.tar.gz)

phoenix的安装

1.将phoenix安装包解压，将安装包中的phoenix-server-hbase-2.2-5.1.1.jar拷贝到所有hbase安装包的lib目录下

2.将hadoop的配置文件core-site.xml和hdfs-site.xml拷贝到phoenix安装包的bin下

3.将hbase的配置文件hbase-site.xml也拷贝到phoenix安装包的bin下

启动：

（1）先启动hdfs和zookeeper
（2）再启动hbase
 (3)  初始化  /opt/apps/phoenix-hbase-2.2-5.1.1-bin/bin/sqlline.py

基本命令

!table                                           查看表信息 
!describe tablename                   可以查看表字段信息
!history                                        可以查看执行的历史SQL
!dbinfo
!index tb                                      查看tb的索引
help                                             查看其他操作
-t                                                 tableName
-i                                                 input file 文件必须在hdfs文件上

语法规则

1.插入数据

在Phoenix中是没有Insert语句的，取而代之的是Upsert语句。Upsert有两种用法，
分别是:upsert into 和 upsert select

upsert into:
类似于insert into的语句，旨在单条插入外部数据

upsert into tb values('ak','hhh',222)
upsert into tb(stat,city,num) values('ak','hhh',222)

upsert select：
类似于Hive中的insert select语句，旨在批量插入其他表的数据。

upsert into tb1 (state,city,population) select state,city,population from tb2 where population < 40000;
upsert into tb1 select state,city,population from tb2 where population > 40000;
upsert into tb1 select * from tb2 where population > 40000;

注意：在phoenix中插入语句并不会像传统数据库一样存在重复数据。
因为Phoenix是构建在HBase之上的，也就是必须存在一个主键。
后面插入的会覆盖前面的，但是时间戳不一样。

2.删除数据
delete from tb; 清空表中所有记录，Phoenix中不能使用truncate table tb；

delete from tb where city = 'kenai';
drop table tb;删除表
delete from system.catalog where table_name = 'int_s6a';
drop table if exists tb;
drop table my_schema.tb;
drop table my_schema.tb cascade;用于删除表的同时删除基于该表的所有视图。

3.修改数据
由于HBase的主键设计，相同rowkey的内容可以直接覆盖，这就变相的更新了数据。
所以Phoenix的更新操作仍旧是upsert into 和 upsert select

upsert into us_population (state,city,population) values('ak','juneau',40711);

4.查询数据
union all， group by， order by， limit 都支持

select from test limit 1000;
select from test limit 1000 offset 100;
select full_name from sales_person where ranking >= 5.0 union all select reviewer_name from customer_review where score >= 8.0

5. 命名空间
在Phoenix中是没有Database的概念的，所有的表都在同一个命名空间。但支持多个命名空间
设置为true，创建的带有schema的表将映射到一个namespace

phoenix.schema.isNamespaceMappingEnabled
true

6.创建表
A.SALT_BUCKETS(加盐)
加盐Salting能够通过预分区(pre-splitting)数据到多个region中来显著提升读写性能。
本质是在hbase中，rowkey的byte数组的第一个字节位置设定一个系统生成的byte值，
这个byte值是由主键生成rowkey的byte数组做一个哈希算法，计算得来的。
Salting之后可以把数据分布到不同的region上，这样有利于phoenix并发的读写操作。

SALT_BUCKETS的值范围在（1 ~ 256）：

create table test(host varchar not null primary key, description  varchar) salt_buckets=16;

upsert into test (host,description) values ('192.168.0.1','s1');
upsert into test (host,description) values ('192.168.0.2','s2');
upsert into test (host,description) values ('192.168.0.3','s3');

salted table可以自动在每一个rowkey前面加上一个字节，这样对于一段连续的rowkeys，它们在表中实际存储时，就被自动地分布到不同的region中去了。
当指定要读写该段区间内的数据时，也就避免了读写操作都集中在同一个region上。
简而言之，如果我们用Phoenix创建了一个saltedtable，那么向该表中写入数据时，
原始的rowkey的前面会被自动地加上一个byte（不同的rowkey会被分配不同的byte），使得连续的rowkeys也能被均匀地分布到多个regions。

B.Pre-split（预分区）
Salting能够自动的设置表预分区，但是你得去控制表是如何分区的，
所以在建phoenix表时，可以精确的指定要根据什么值来做预分区，比如：
create table test (host varchar not null primary key, description varchar) split on (‘cs’,‘eu’,‘na’);

C.使用多列族
列族包含相关的数据都在独立的文件中，在Phoenix设置多个列族可以提高查询性能。

创建两个列族：
create table test (
 mykey varchar not null primary key,
 a.col1 varchar,
 a.col2 varchar, 
 b.col3 varchar
);
upsert into test values ('key1','a1','b1','c1');
upsert into test values ('key2','a2','b2','c2');

D.使用压缩

create table test (host varchar not null primary key, description varchar) compression='snappy';

7.创建视图,删除视图

create view "my_hbase_table"( k varchar primary key, "v" unsigned_long) default_column_family='a';
create view my_view ( new_col smallint ) as select * from my_table where k = 100;
create view my_view_on_view as select * from my_view where new_col > 70
create view v1 as select *  from test where description in ('s1','s2','s3')

drop view my_view
drop view if exists my_schema.my_view
drop view if exists my_schema.my_view cascade

8.创建二级索引
支持可变数据和不可变数据（数据插入后不再更新）上建立二级索引

create index my_idx on sales.opportunity(last_updated_date desc)
create index my_idx on log.event(created_date desc) include (name, payload) salt_buckets=10
create index if not exists my_comp_idx on server_metrics ( gc_time desc, created_date desc ) 
data_block_encoding='none',versions=?,max_filesize=2000000 split on (?, ?, ?)
create index my_idx on sales.opportunity(upper(contact_name))
create index test_index on test (host) include (description);

删除索引：

drop index my_idx on sales.opportunity
drop index if exists my_idx on server_metrics
drop index if exists xdgl_acct_fee_index on xdgl_acct_fee

默认是可变表，手动创建不可变表

create table hao2 (k varchar primary key, v varchar) immutable_rows=true;
alter table HAO2 set IMMUTABLE_ROWS = false;	修改为可变
alter index index1 on tb rebuild;索引重建是把索引表清空后重新装配数据。

Global Indexing多读少写，适合条件较少

create index my_index on items(price);

调用方法：
1.强制索引

select /*+ index(items my_index) */ * from items where price=0.8824734;
drop index my_name on usertable;

2.覆盖索引 Covered Indexes，需要include包含需要返回数据结果的列。

create index index1_c on hao1 (age) include(name);  name已经被缓存在这张索引表里了。
对于select name from hao1 where age=2，查询效率和速度最快
select * from hao1 where age =2，其他列不在索引表内，会全表扫描

Local Indexing写多读少，不是索引字段索引表也会被使用，索引数据和真实数据存储在同一台机器上

create local index index3_l_name on hao1 (name);

异步创建索引，创建的索引表中不会有数据，单独使用命令行工具来执行数据的创建

create index index1_c on hao1 (age) include(name) async;
hbase org.apache.phoenix.mapreduce.index.indextool
  --schema my_schema --data-table my_table --index-table async_idx
  --output-path async_idx_hfiles

9.与现有的HBase表关联
首先创建一张HBase表，再创建的Phoenix表，表名必须和HBase表名一致即可。

create  'stu' ,'cf1','cf2'
put 'stu', 'key1','cf1:name','luozhao'
put 'stu', 'key1','cf1:sex','man'
put 'stu', 'key1','cf2:age','24'
put 'stu', 'key1','cf2:adress','cqupt'

create table "stu" (
id VARCHAR NOT NULL  PRIMARY KEY ,
"cf1"."name" VARCHAR ,
"cf1"."sex" VARCHAR ,
"cf2"."age" VARCHAR ,
"cf2"."adress" VARCHAR );
upsert into "stu"(id,"cf1"."name","cf1"."sex","cf2"."age","cf2"."adress") values('key6','zkk','man','111','Beijing');

select * from “stu”;会发现两张表是数据同步的。
这里查询表名需要用双引号括起来，强制不转换为大写。
这里一定要注意的是表名和列族以及列名需要用双引号括起来，因为HBase是区分大小写的，
如果不用双引号括起来的话Phoenix在创建表的时候会自动将小写转换为大写字母

10.在Spark运行环境中添加Phoenix依赖
spark-env.sh添加如下代码:

#添加Phoenix依赖
for file in $(find /opt/hbase-1.2.4/lib |grep  phoenix)
do
    SPARK_DIST_CLASSPATH="$SPARK_DIST_CLASSPATH:$file"
done
export SPARK_DIST_CLASSPATH

这样每次启动spark任务都会将phoenix的jar包添加到classpath了

本文章为转载内容，我们尊重原作者对文章享有的著作权。如有内容错误或侵权问题，欢迎原作者联系我们进行内容更正或删除文章。