1、hive的join有几种方式，怎么实现join的？
left join
--以左表为基准，不符合的值以null值显示
--工作中以left join 居多，大表加载小表的形式
select empno,ename,emp.deptno,dname from emp left join dept on
emp.deptno=dept.deptno;
right join
--以右表为基准，不符合的值以null值显示
select empno,ename,emp.deptno,dept.deptno from emp right join
dept on emp.deptno=dept.deptno;
full join
select empno,ename,emp.deptno,dept.deptno from emp full join
dept on emp.deptno=dept.deptno;
===============================================
2、hive内部表与外部表的区别
Hive
创建内部表时，会将数据移动到数据仓库指向的路径；若创建外部表，仅记录数据所在的路径，不对数据的位置做任何改变。
在删除表的时候，内部表的元数据和数据会被一起删除，而外部表只删除元数据，不删除数据。这样外部表相对来说更加安全些，数据组织也更加灵活，方便共享源数据。
1、在导入数据到外部表，数据并没有移动到自己的数据仓库目录下，也就是说外部表中的数据并不是由它自己来管理的！而表则不一样；
2、在删除表的时候，Hive将会把属于表的元数据和数据全部删掉；而删除外部表的时候，Hive仅仅删除外部表的元数据，数据是不会删除的！
===========================================================
3、hive表关联要注意什么，任意两张表都可以关联么？
===========================================================
4、hive是如何实现分区的？
Hive中的分区就是分目录，把一个大的数据集根据业务需要分割成更小的数据集。
===========================================================
5、hive支持not in 么？
hive在0.13版本后已经支持in和not in了！hive已经越来越像我们平时使用的关系型数据库了！
===============================================
6、 Hive有那些方式保存元数据的，各有那些特点。
1) 内存数据库derby，较小，不常用
2) 本地mysql，较常用
3) 远程mysql，不常用
===============================================
7、hive如何优化，列举说明
hive查询操作优化
-------group by 优化---------
set hive.groupby.skewindata=true 如果是group
by过程出现倾斜应该设置为true;
set hive.groupby.mapaggr.checkintenval=1000000;
这个是group的键对应的记录条数超过这个值则会进行优化
-----------join优化-------------------
set
hive.optimize.skewjoin=true;如果是join过程出现倾斜 应该设置为true
set
hive.skewjoin.key=1000000;--这个是join的键对应的记录条数超过这个值则会进行优化
-----------mapjoin-----------------
当表小于25mb的时候，小表自动注入内存
set hive.auto.convert.join=true;
set
hive.mapjoin.smalltable.filesize=25mb; 默认值是25mb
===========================================================
8、hive底层与数据库交互原理
Hive的查询功能是由hdfs + mapreduce结合起来实现的
Hive与mysql的关系：只是借用mysql来存储hive中的表的元数据信息，称为metastore
===========================================================
9、hive如何权限控制？
Hive从0.10版本(包含0.10版本)以后可以通过元数据来控制权限，Hive-0.10之前的版本对权限的控制主要是通过Linux的用户和用户组来控制，不能对Hive表的CREATE、SELECT、DROP等操作进行控制，当然Hive基于元数据来控制权限也不是完全安全的，目的就是为了防止用户不小心做了不该做的操作
===========================================================
10、hive能像关系型数据库那样，建多个库么？
===========================================================
11、hive中sort by和order by的区别？
使用order by会引发全局排序
使用distribute和sort进行分组排序
===========================================================
12、hive中的压缩格式各有什么区别？
RCFile
RCFile是Hive推出的一种专门面向列的数据格式。
它遵循“先按列划分，再垂直划分”的设计理念。当查询过程中，针对它并不关心的列时，它会在IO上跳过这些列。需要说明的是，RCFile在map阶段从
远端拷贝仍然是拷贝整个数据块，并且拷贝到本地目录后RCFile并不是真正直接跳过不需要的列，并跳到需要读取的列，
而是通过扫描每一个row group的头部定义来实现的，但是在整个HDFS Block 级别的头部并没有定义每个列从哪个row
group起始到哪个row
group结束。所以在读取所有列的情况下，RCFile的性能反而没有SequenceFile高。
TextFile：
Hive默认格式，数据不做压缩，磁盘开销大，数据解析开销大。
可结合Gzip、Bzip2、Snappy等使用(系统自动检查，执行查询时自动解压)，但使用这种方式，hive不会对数据进行切分，从而无法对数据进行并行操作。
SequenceFile：
SequenceFile是Hadoop API
提供的一种二进制文件，它将数据以的形式序列化到文件中。这种二进制文件内部使用Hadoop 的标准的Writable
接口实现序列化和反序列化。它与Hadoop API中的MapFile 是互相兼容的。Hive 中的SequenceFile
继承自Hadoop API 的SequenceFile，不过它的key为空，使用value 存放实际的值， 这样是为了避免MR
在运行map 阶段的排序过程
===========================================================
13、hive的两张表关联，使用mapreduce是怎么写的？
===========================================================
14、hive相对于Oracle来说有哪些优点？
hive 是数据仓库，oracle是数据库，hive
能够存储海量数据，hive还有更重要的作用就是数据分析，最主要的是免费。
1
hive表关联查询，如何解决数据倾斜的问题?
倾斜原因：
map输出数据按key
Hash的分配到reduce中，由于key分布不均匀、业务数据本身的特、建表时考虑不周、等原因造成的reduce
上的数据量差异过大。
1)、key分布不均匀;
2)、业务数据本身的特性;
3)、建表时考虑不周;
4)、某些SQL语句本身就有数据倾斜;
如何避免：对于key为空产生的数据倾斜，可以对其赋予一个随机值。
解决方案
1>.参数调节：
hive.map.aggr = true
hive.groupby.skewindata=true
有数据倾斜的时候进行负载均衡，当选项设定位true,生成的查询计划会有两个MR Job。第一个MR
Job中，Map的输出结果集合会随机分布到Reduce中，每个Reduce做部分聚合操作，并输出结果，这样处理的结果是相同的Group
By Key有可能被分发到不同的Reduce中，从而达到负载均衡的目的；第二个MR Job再根据预处理的数据结果按照Group By
Key 分布到 Reduce 中(这个过程可以保证相同的 Group By Key
被分布到同一个Reduce中)，最后完成最终的聚合操作。
2>.SQL 语句调节：
1)、选用join key分布最均匀的表作为驱动表。做好列裁剪和filter操作，以达到两表做join
的时候，数据量相对变小的效果。
2)、大小表Join：
使用map join让小的维度表(1000 条以下的记录条数)先进内存。在map端完成reduce.
4)、大表Join大表：
把空值的key变成一个字符串加上随机数，把倾斜的数据分到不同的reduce上，由于null
值关联不上，处理后并不影响最终结果。
5)、count distinct大量相同特殊值:
count distinct 时，将值为空的情况单独处理，如果是计算count
distinct，可以不用处理，直接过滤，在最后结果中加1。如果还有其他计算，需要进行group
by，可以先将值为空的记录单独处理，再和其他计算结果进行union。
2.
请谈一下hive的特点是什么？hive和RDBMS有什么异同？
hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供完整的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。
3. 请把下一语句用hive方式实现？
SELECT a.key,a.value
FROM a
WHERE a.key not in (SELECT b.key FROM b)
答案：
select a.key,a.value from a where a.key not exists (select b.key
from b)
4. Multi-group by
是hive的一个非常好的特性，请举例说明
from A
insert overwrite table B
select A.a, count(distinct A.b) group by A.a
insert overwrite table C
select A.c, count(distinct A.b) group by A.c
5. 请说明hive中 Sort By，Order By，Cluster
By，Distrbute By各代表什么意思。
order
by：会对输入做全局排序，因此只有一个reducer(多个reducer无法保证全局有序)。只有一个reducer，会导致当输入规模较大时，需要较长的计算时间。
sort by：不是全局排序，其在数据进入reducer前完成排序。
distribute by：按照指定的字段对数据进行划分输出到不同的reduce中。
cluster by：除了具有 distribute by 的功能外还兼具 sort by 的功能。
6.简要描述数据库中的
null，说出null在hive底层如何存储，并解释selecta.* from t1 a left outer join t2 b
on a.id=b.id where b.id is null; 语句的含义
null与任何值运算的结果都是null, 可以使用is null、is not null函数指定在其值为null情况下的取值。
null在hive底层默认是用'\N'来存储的，可以通过alter table test SET
SERDEPROPERTIES('serialization.null.format' = 'a');来修改。
查询出t1表中与t2表中id相等的所有信息。
7.写出hive中split、coalesce及collect_list函数的用法(可举例)。
Split将字符串转化为数组。
split('a,b,c,d' , ',') ==> ["a","b","c","d"]
COALESCE(T v1, T v2, …) 返回参数中的第一个非空值；如果所有值都为 NULL，那么返回NULL。
collect_list列出该字段所有的值，不去重 select collect_list(id)
from table;
8.写出将 text.txt 文件放入 hive 中 test
表‘2016-10-10’ 分区的语句，test 的分区字段是 l_date。
LOAD DATA LOCAL INPATH '/your/path/test.txt' OVERWRITE INTO TABLE
test PARTITION (l_date='2016-10-10')
