温馨提示：要看高清无码套图，请使用手机打开并单击图片放大查看。​


Fayson的github：

​​https://github.com/fayson/cdhproject​​


提示：代码块部分可以左右滑动查看噢


1.文档编写目的



在前面的文章中，我们介绍了《​​由Impala-3316导致的并发查询缓慢问题​​》，如果Parquet表是由Hive/Spark产生的，包含TIMESTAMP字段类型，并且Impala高级配置包含

--convert_legacy_hive_parquet_utc_timestamps=true

启用选项，那么使用Impala做并发查询时，随着并发的增加，查询性能会慢慢下降，并发越高，性能下降越厉害。


本文将模拟假设你的环境已经出现了这个问题，即所有的带timestamp的parquet表已经由Hive生成了，这里提供三种改造方案，并基于三种改造方案进行测试验证，最后给出方案的比较和总结。


  • 内容概述：

1.解决方案建议

2.解决方案验证

3.解决方案比较和总结

4.附录


  • 测试环境：

1.CM和CDH版本为5.13.1

2.操作系统版本为Redhat7.2

3.Impala已配置负载均衡

4.采用root用户进行操作


2.解决方案建议

2.1.问题解决思路



之前提到过，必须同时具备下列三个条件才会影响Impala并发查询，那么只要使下列三个条件任意一个不成立，即可解决由于 Linux 本地的时间转换函数(localtime_r)给进程加上全局锁导致Impala并发查询性能差的问题。


1.Parquet 表包含 TIMESTAMP 字段；


2.Parquet 文件由 Hive 或者 Spark 生成；


3.Impala Daemon命令行参数高级配置代码段（安全阀）包含以下配置：

--convert_legacy_hive_parquet_utc_timestamps=true


2.2.解决方案建议



基于上述的问题解决思路，可提出三种问题解决方案，详细内容如下：


1.将所有TIMESTAMP改为STRING类型，这个选项对业务系统的影响是最大的，相当于客户前端的ETL程序，Hive/Spark的所有程序都要改写，包括以后业务用户通过Impala使用这些表的方式也需要修改。但是管理和维护成本是最低的，一次改造之后，无须再考对业务系统进行修改。


2.将由Hive/Spark生成的所有涉及TIMESTAMP的Parquet表/分区的数据全部由Impala再次生成一下，该方法的好处是不影响已有的业务系统，坏处是需要占用集群的额外资源，选取合适的时间来做这个转换，还需要考虑每日的增量处理的方式等。


3.在受影响的表之上再构建一个视图，该视图的TIMESTAMP带上UTC和CST时区的offset。该方法的好处是不用对已有的作业造成影响，相较第二点，也不用占用集群的额外资源来重新生成数据表，但是对于业务和开发用户来说使用方式可能要变化，另外就是多了很多视图，造成更多的管理成本。


注：红色字体内容是方案的坏处，绿色字体内容是方案的好处。


3.解决方案验证

3.1.Timestamp转String类型

3.1.1.前置条件



1.Impala配置参数：

--convert_legacy_hive_parquet_utc_timestamps=true


2.将包含时间戳的字段“statsdate”类型更改为STRING后，用Hive生成Parquet表


3.1.2.测试准备



1.生成Parquet表语句如下：


[root@cdh4 scripts]# cat string_type.sql
ues iot_test;
create table hive_table_parquet2 (
ordercoldaily BIGINT, 
smsusedflow BIGINT, 
gprsusedflow BIGINT, 
statsdate STRING, 
custid STRING, 
groupbelong STRING, 
provinceid STRING, 
apn STRING ) 
PARTITIONED BY ( subdir STRING ) 
STORED AS PARQUET;
set hive.exec.dynamic.partition=true;
set hive.exec.dynamic.partition.mode=nonstrict; 
insert overwrite table hive_table_parquet2 partition (subdir) select * from hive_table_test

（可左右滑动）


执行./hivesql_exec.sh string_type.sql命令，生成Parquet表


2.在beeline中查看数据总数

执行select count(*) from hive_table_parquet2;命令


Impala并发查询缓慢问题解决方案_hive


3.测试SQL语句如下


[root@cdh4 scripts]# cat b.sql 
use iot_test;
SELECT 
 nvl(A.TOTALGPRSUSEDFLOW,0) as TOTALGPRSUSEDFLOW, nvl(A.TOTALSMSUSEDFLOW,0) as TOTALSMSUSEDFLOW, B.USEDDATE AS USEDDATE 
FROM ( SELECT SUM(GPRSUSEDFLOW) AS TOTALGPRSUSEDFLOW, SUM(SMSUSEDFLOW) AS TOTALSMSUSEDFLOW, cast(STATSDATE as timestamp) AS USEDDATE 
FROM hive_table_parquet2 SIMFLOW 
WHERE SIMFLOW.subdir = '10' AND SIMFLOW.CUSTID = '10099' 
AND cast(SIMFLOW.STATSDATE as timestamp) >= to_date(date_sub(current_timestamp(),7)) 
AND cast(SIMFLOW.STATSDATE as timestamp) < to_date(current_timestamp()) 
GROUP BY STATSDATE ) A 
RIGHT JOIN ( 
SELECT to_date(date_sub(current_timestamp(),7)) AS USEDDATE UNION ALL
SELECT to_date(date_sub(current_timestamp(),1)) AS USEDDATE UNION ALL
SELECT to_date(date_sub(current_timestamp(),2)) AS USEDDATE UNION ALL
SELECT to_date(date_sub(current_timestamp(),3)) AS USEDDATE UNION ALL
SELECT to_date(date_sub(current_timestamp(),4)) AS USEDDATE UNION ALL
SELECT to_date(date_sub(current_timestamp(),5)) AS USEDDATE UNION ALL
SELECT to_date(date_sub(current_timestamp(),6)) AS USEDDATE 
) B on to_date(A.USEDDATE) = to_date(B.USEDDATE) ORDER BY B.USEDDATE

（可左右滑动）


3.1.3.并发测试



1.测试1个并发查询

第一次测试：0.67秒返回查询结果


Impala并发查询缓慢问题解决方案_数据_02


第二次测试：0.67秒返回查询结果


Impala并发查询缓慢问题解决方案_hive_03


第三次测试：0.66秒返回查询结果


Impala并发查询缓慢问题解决方案_sed_04


2.测试10个并发查询

第一次测试：所有并发查询均在1.5秒内完成


Impala并发查询缓慢问题解决方案_sed_05


第二次测试：所有并发查询均在1.6秒内完成


Impala并发查询缓慢问题解决方案_数据_06


第三次测试：所有并发查询均在1.6秒内完成


Impala并发查询缓慢问题解决方案_sed_07



3.测试30个并发查询：

第一次测试：所有并发查询均在5秒内完成



Impala并发查询缓慢问题解决方案_sed_08


第二次测试：所有并发查询均在5秒内完成


Impala并发查询缓慢问题解决方案_hive_09



第三次测试：所有并发查询均在5秒内完成


Impala并发查询缓慢问题解决方案_sed_10


3.2.Impala重新生成Parquet文件

3.2.1.前置条件



Impala配置参数：

--convert_legacy_hive_parquet_utc_timestamps=true


3.2.2.测试准备



1.使用Impala创建Parquet表

建表脚本如下：


[root@cdh4 scripts]# cat impalasql_exec.sh 
impala-shell -B -i cdh4.macro.com:25003 -u hive -f $1 &

（可左右滑动）


注：因为Impala配置了负载均衡，此处填写的Impala地址为负载均衡地址。

 

生成Parquet表语句如下：


[root@cdh4 scripts]# cat timestamp_type.sql 
use iot_test;
create table if not exists impala_table_parquet (
ordercoldaily BIGINT, 
smsusedflow BIGINT, 
gprsusedflow BIGINT, 
statsdate TIMESTAMP, 
custid STRING, 
groupbelong STRING, 
provinceid STRING, 
apn STRING ) 
PARTITIONED BY ( subdir STRING ) 
STORED AS PARQUET;
insert overwrite table impala_table_parquet partition (subdir) select * from hive_table_parquet

（可左右滑动）


2.在impala中查看数据总数


执行select count(*) from impala_table_parquet;命令


Impala并发查询缓慢问题解决方案_sed_11


3.验证Parquet文件是否由Impala生成


root@cdh4 scripts]# hdfs dfs -ls -R /user/hive/warehouse/iot_test.db/impala_table_parquet

（可左右滑动）


Impala并发查询缓慢问题解决方案_hive_12


[root@cdh4 scripts]# parquet-tools meta hdfs://cdh3.macro.com:8020/user/hive/warehouse/iot_test.db/impala_table_parquet/subdir=10/1244265ba8edf7e3-62a6d22600000002_1856929817_data.0.parq
creator:       impala version 2.10.0-cdh5.13.1 (build 1e4b23c4eb52dac95c5be6316f49685c41783c51)

（可左右滑动）


Impala并发查询缓慢问题解决方案_hive_13


4.测试SQL语句如下


[root@cdh4 scripts]# cat c.sql 
use iot_test;
SELECT 
 nvl(A.TOTALGPRSUSEDFLOW,0) as TOTALGPRSUSEDFLOW, nvl(A.TOTALSMSUSEDFLOW,0) as TOTALSMSUSEDFLOW, B.USEDDATE AS USEDDATE 
FROM ( SELECT SUM(GPRSUSEDFLOW) AS TOTALGPRSUSEDFLOW, SUM(SMSUSEDFLOW) AS TOTALSMSUSEDFLOW, cast(STATSDATE as timestamp) AS USEDDATE 
FROM impala_table_parquet SIMFLOW 
WHERE SIMFLOW.subdir = '10' AND SIMFLOW.CUSTID = '10099' 
AND cast(SIMFLOW.STATSDATE as timestamp) >= to_date(date_sub(current_timestamp(),7)) 
AND cast(SIMFLOW.STATSDATE as timestamp) < to_date(current_timestamp()) 
GROUP BY STATSDATE ) A 
RIGHT JOIN ( 
SELECT to_date(date_sub(current_timestamp(),7)) AS USEDDATE UNION ALL
SELECT to_date(date_sub(current_timestamp(),1)) AS USEDDATE UNION ALL
SELECT to_date(date_sub(current_timestamp(),2)) AS USEDDATE UNION ALL
SELECT to_date(date_sub(current_timestamp(),3)) AS USEDDATE UNION ALL
SELECT to_date(date_sub(current_timestamp(),4)) AS USEDDATE UNION ALL
SELECT to_date(date_sub(current_timestamp(),5)) AS USEDDATE UNION ALL
SELECT to_date(date_sub(current_timestamp(),6)) AS USEDDATE 
) B on to_date(A.USEDDATE) = to_date(B.USEDDATE) ORDER BY B.USEDDATE

（可左右滑动）


3.2.3.并发测试



1.测试1个并发查询

第一次测试：0.68秒返回查询结果


Impala并发查询缓慢问题解决方案_sed_14


第二次测试：0.66秒返回查询结果


Impala并发查询缓慢问题解决方案_sed_15


第三次测试：0.67秒返回查询结果


Impala并发查询缓慢问题解决方案_sed_16


2.测试10个并发查询

第一次测试：所有并发查询均在1.5秒内完成


Impala并发查询缓慢问题解决方案_hive_17


第二次测试：所有并发测试均在1.7秒内完成


Impala并发查询缓慢问题解决方案_sed_18


第三次测试：所有并发测试均在1.7秒内完成


Impala并发查询缓慢问题解决方案_hive_19


3.测试30个并发查询：

第一次测试：所有并发测试均在5秒内完成


Impala并发查询缓慢问题解决方案_hive_20


第二次测试：所有并发测试均在5秒内完成


Impala并发查询缓慢问题解决方案_sed_21


第三次测试：所有并发测试均在5秒内完成


Impala并发查询缓慢问题解决方案_hive_22


3.3.构建Impala视图

3.3.1.前置条件



Impala配置参数：

--convert_legacy_hive_parquet_utc_timestamps=false


3.3.2.测试准备



1.修改Impala配置参数

Impala Daemon高级配置：删除

-convert_legacy_hive_parquet_utc_timestamps

，恢复默认。


Impala并发查询缓慢问题解决方案_sed_23


重启Impala服务


2.使用Impala创建视图

建立视图SQL语句如下：


[root@cdh4 scripts]# cat view_type.sql 
use iot_test;
CREATE VIEW IF NOT EXISTS  impala_view AS SELECT ordercoldaily,smsusedflow,gprsusedflow,hours_add(statsdate,8) as statsdate,custid,groupbelong,provinceid,apn,subdir FROM hive_table_parquet;

（可左右滑动）


Impala并发查询缓慢问题解决方案_hive_24


3.在impala中查看数据总数

执行select count(*) from impala_view;命令


Impala并发查询缓慢问题解决方案_数据_25


4.测试SQL语句如下


[root@cdh4 scripts]# cat d.sql 
use iot_test;
SELECT 
 nvl(A.TOTALGPRSUSEDFLOW,0) as TOTALGPRSUSEDFLOW, nvl(A.TOTALSMSUSEDFLOW,0) as TOTALSMSUSEDFLOW, B.USEDDATE AS USEDDATE 
FROM ( SELECT SUM(GPRSUSEDFLOW) AS TOTALGPRSUSEDFLOW, SUM(SMSUSEDFLOW) AS TOTALSMSUSEDFLOW, cast(STATSDATE as timestamp) AS USEDDATE 
FROM impala_view SIMFLOW 
WHERE SIMFLOW.subdir = '10' AND SIMFLOW.CUSTID = '10099' 
AND cast(SIMFLOW.STATSDATE as timestamp) >= to_date(date_sub(current_timestamp(),7)) 
AND cast(SIMFLOW.STATSDATE as timestamp) < to_date(current_timestamp()) 
GROUP BY STATSDATE ) A 
RIGHT JOIN ( 
SELECT to_date(date_sub(current_timestamp(),7)) AS USEDDATE UNION ALL
SELECT to_date(date_sub(current_timestamp(),1)) AS USEDDATE UNION ALL
SELECT to_date(date_sub(current_timestamp(),2)) AS USEDDATE UNION ALL
SELECT to_date(date_sub(current_timestamp(),3)) AS USEDDATE UNION ALL
SELECT to_date(date_sub(current_timestamp(),4)) AS USEDDATE UNION ALL
SELECT to_date(date_sub(current_timestamp(),5)) AS USEDDATE UNION ALL
SELECT to_date(date_sub(current_timestamp(),6)) AS USEDDATE 
) B on to_date(A.USEDDATE) = to_date(B.USEDDATE) ORDER BY B.USEDDATE

（可左右滑动）


3.3.3.并发测试



1.测试1个并发查询

第一次测试：0.72秒返回查询结果


Impala并发查询缓慢问题解决方案_数据_26


第二次测试：0.49秒返回查询结果


Impala并发查询缓慢问题解决方案_hive_27


第三次测试：0.48秒返回查询结果


Impala并发查询缓慢问题解决方案_sed_28


2.测试10个并发查询：

第一次测试：所有并发查询均在1.3秒内完成


Impala并发查询缓慢问题解决方案_sed_29


第二次测试：所有并发查询均在1.4秒内完成


Impala并发查询缓慢问题解决方案_数据_30


第三次测试：所有并发查询均在1.4秒内完成


Impala并发查询缓慢问题解决方案_hive_31


3.测试30个并发查询：

第一次测试：所有并发查询均在3.8秒内完成


Impala并发查询缓慢问题解决方案_数据_32


第二次测试：所有并发查询均在3.9秒内完成


Impala并发查询缓慢问题解决方案_数据_33


第三次测试：所有并发查询均在3.9秒内完成


Impala并发查询缓慢问题解决方案_sed_34


4.解决方案比较和总结



1.“TIMESTAMP转STRING类型”风险最高，改造最彻底，对业务系统影响最大，但是管理和维护成本最低；


2.“Impala重新生成Parquet文件”风险较小，需要额外占用集群资源并且需要考虑后续数据的处理，比较麻烦，可能需要定期做数据转换，管理和维护成本最高，但是对业务系统影响最小；


3.使用“构建Impala视图”的方式，管理和维护成本相对较高，会稍微对业务系统的使用产生影响，是比较折衷的问题解决方案，是改造时间最短的方案；


4.“构建Impala视图”需要设置Impala Daemon命令行高级配置参数：

--convert_legacy_hive_parquet_utc_timestamps=false

，这意味着所有涉及到TIMESTAMP字段的值都会延后8小时（UTC和CST时区的offset），如果要保证业务系统数据准确可用，那么需要为所有受影响的Parquet构建Impala视图，管理和维护成本较高，风险最小，对业务系统影响较小，但是不需要额外占用集群资源。如果不想更改业务查询系统，可以将Parquet表重命名，然后创建的视图使用对应Parquet表的原名，需要注意的是，更改表名后，如果写入数据涉及到表名，那么数据入库程序需要做相应变更。除此之外，因为是使用视图的方式校正时间戳，所以如果使用Hive查询视图的话，时间会提前8小时。建议Hive查询原表，Impala查询视图。


5.附录



1.设置

--convert_legacy_hive_parquet_utc_timestamps=false

的影响

修改配置参数之前，所有表/视图的同一条数据时间戳字段的值一致，均为2017-02-02 01:20:00


Impala并发查询缓慢问题解决方案_sed_35

Impala并发查询缓慢问题解决方案_数据_36


修改配置参数后，源Parquet表的同一条数据时间戳字段的值延后8小时，为2017-02-01 17:20:00，而其他表/视图的值为2017-02-02 01:20:00


Impala并发查询缓慢问题解决方案_sed_37

Impala并发查询缓慢问题解决方案_sed_38


2.Impala负载均衡截图

做完所有并发测试后，查看Impala负载均衡，查询基本均匀分布在不同Impala Daemon上


Impala并发查询缓慢问题解决方案_hive_39


3.额外测试三种问题解决方案在50个并发查询情况下的返回结果

“TIMESTAMP转STRING类型”的方式基本在7秒左右返回查询结果


Impala并发查询缓慢问题解决方案_hive_40

Impala并发查询缓慢问题解决方案_hive_41

Impala并发查询缓慢问题解决方案_sed_42


“Impala重新生成Parquet文件”的方式基本在6秒左右返回查询结果


Impala并发查询缓慢问题解决方案_sed_43

Impala并发查询缓慢问题解决方案_sed_44

Impala并发查询缓慢问题解决方案_hive_45


“构建Impala视图”的方式基本在5-6秒返回查询结果


Impala并发查询缓慢问题解决方案_sed_46

Impala并发查询缓慢问题解决方案_hive_47

Impala并发查询缓慢问题解决方案_sed_48


测试脚本源码：

​​https://github.com/fayson/cdhproject/tree/master/ScriptFiles​​



提示：代码块部分可以左右滑动查看噢


为天地立心，为生民立命，为往圣继绝学，为万世开太平。

温馨提示：要看高清无码套图，请使用手机打开并单击图片放大查看。



推荐关注Hadoop实操，第一时间，分享更多Hadoop干货，欢迎转发和分享。

Impala并发查询缓慢问题解决方案_hive_49

原创文章，欢迎转载，转载请注明：转载自微信公众号Hadoop实操