hive里怎么查看文件的路径

1.Hive安装

前期准备：Hadoop集群搭建完毕，MySQL准备完毕。
Hive安装包下载：http://archive.apache.org/dist/hive/hive-2.3.6/

1. 上传apache-hive-2.3.6-bin.tar.gz 到/opt/software目录下，并解压到/opt/module

[lili@hadoop102 software]$ tar -zxvf apache-hive-2.3.6-bin.tar.gz -C /opt/module/

1. 修改apache-hive-2.3.6-bin名称为hive

[lili@hadoop102 module]$ mv apache-hive-2.3.6-bin hive

1. 将Mysql的mysql-connector-java-5.1.27-bin.jar拷贝到/opt/module/hive/lib/

[lili@hadoop102 module]$ cp mysql-connector-java-5.1.27-bin.jar /opt/module/hive/lib/

1. 在/opt/module/hive/conf路径上，创建hive-site.xml文件

[lili@hadoop102 conf]$ vim hive-site.xml
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
	<property>
	    <name>javax.jdo.option.ConnectionURL</name>
	    <value>jdbc:mysql://hadoop102:3306/metastore?createDatabaseIfNotExist=true</value>
	    <description>JDBC connect string for a JDBC metastore</description>
	</property>

	<property>
	    <name>javax.jdo.option.ConnectionDriverName</name>
	    <value>com.mysql.jdbc.Driver</value>
	    <description>Driver class name for a JDBC metastore</description>
	</property>

	<property>
	    <name>javax.jdo.option.ConnectionUserName</name>
	    <value>root</value>
	    <description>username to use against metastore database</description>
	</property>

	<property>
	    <name>javax.jdo.option.ConnectionPassword</name>
	    <value>123456</value>
	    <description>password to use against metastore database</description>
	</property>
    
    <property>
         <name>hive.metastore.warehouse.dir</name>
         <value>/user/hive/warehouse</value>
         <description>location of default database for the warehouse</description>
    </property>
    
    <property>
        <name>hive.cli.print.header</name>
        <value>true</value>
    </property>

    <property>
        <name>hive.cli.print.current.db</name>
        <value>true</value>
    </property>
    
    <property>
        <name>hive.metastore.schema.verification</name>
        <value>false</value>
    </property>
    
    <property>
        <name>datanucleus.schema.autoCreateAll</name>
        <value>true</value> 
</property>
<property>
		<name>hive.metastore.uris</name>
		<value>thrift://hadoop102:9083</value>
</property>
</configuration>

1. 启动Hive的metastore服务

[lili@hadoop102 hive]$ nohup bin/hive --service metastore &

1. 服务启动完毕后在启动Hive

[lili@hadoop102 hive]$ bin/hive

1. 到此Hive安装完毕。
2. 如果启动报错参看

2.Hive集成引擎Tez

Tez是一个Hive的运行引擎，性能优于MR。为什么优于MR呢？

如图所示：

用Hive直接编写MR程序，假设有四个有依赖关系的MR作业，上图中，绿色是Reduce Task，云状表示写屏蔽，需要将中间结果持久化写到HDFS。

Tez可以将多个有依赖的作业转换为一个作业，这样只需写一次HDFS，且中间节点较少，从而大大提升作业的计算性能。正是因为如此，Tez在进行时转换时假如中间任何一个环节出现问题，整个过程需要从头开始。

2.1Tez安装

Tez安装包下载：http://archive.apache.org/dist/tez/0.9.1/

1. 上传apache-tez-0.9.1-bin.tar.gz到hadoop102的/opt/software目录，并解压。

[lili@hadoop102 software]$ tar -zxvf apache-tez-0.9.1-bin.tar.gz -C /opt/module

1. 将apache-tez-0.9.1-bin.tar.gz上传到HDFS的/tez目录下。

[lili@hadoop102 software]$ hadoop fs -mkdir /tez
[lili@hadoop102 software]$ hadoop fs -put apache-tez-0.9.1-bin.tar.gz/ /tez

1. 修改/opt/module目录下的apache-tez-0.9.1-bin.tar.gz名称为tez-0.9.1。

[lili@hadoop102 module]$ mv apache-tez-0.9.1-bin/ tez-0.9.1

3.Hive集成Tez

1. 进入到Hive的/opt/module/hive/conf下面创建一个tez-site.xml文件

[lili@hadoop102 conf]$ vim tez-site.xml
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
    <property>
        <name>tez.lib.uris</name>
        <value>${fs.defaultFS}/tez/apache-tez-0.9.1-bin.tar.gz</value>
    </property>
    <property>
         <name>tez.use.cluster.hadoop-libs</name>
         <value>true</value>
    </property>
    <property>
         <name>tez.history.logging.service.class</name>        
         <value>org.apache.tez.dag.history.logging.ats.ATSHistoryLoggingService</value>
    </property>
</configuration>

1. 在hive-env.sh文件中添加tez环境变量配置和依赖包环境变量配置

[atguigu@hadoop102 conf]$ mv hive-env.sh.template hive-env.sh
[atguigu@hadoop102 conf]$ vim hive-env.sh
# Set HADOOP_HOME to point to a specific hadoop install directory
export HADOOP_HOME=/opt/module/hadoop-2.7.2

# Hive Configuration Directory can be controlled by:
export HIVE_CONF_DIR=/opt/module/hive/conf

# Folder containing extra libraries required for hive compilation/execution can be controlled by:
export TEZ_HOME=/opt/module/tez-0.9.1    #是你的tez的解压目录
export TEZ_JARS=""
for jar in `ls $TEZ_HOME |grep jar`; do
    export TEZ_JARS=$TEZ_JARS:$TEZ_HOME/$jar
done
for jar in `ls $TEZ_HOME/lib`; do
    export TEZ_JARS=$TEZ_JARS:$TEZ_HOME/lib/$jar
done

export HIVE_AUX_JARS_PATH=/opt/module/hadoop-2.7.2/share/hadoop/common/hadoop-lzo-0.4.20.jar$TEZ_JARS

1. 在hive-site.xml文件中添加如下配置，更改hive计算引擎

<property>
    <name>hive.execution.engine</name>
    <value>tez</value>
</property>

1. 关掉虚拟内存检查，修改yarn-site.xml文件。
   由于运行Tez时检查到用过多内存而被NodeManager杀死进程，这种问题是运行的Container试图使用过多的内存，而被NodeManager 杀死掉了。因此我们需要关闭虚拟内存检查。

<property>
    <name>yarn.nodemanager.vmem-check-enabled</name>
    <value>false</value>
</property>

修改时候记得将yarn-site.xml文件分发给其他服务器。（不会分发，可以对集群每个服务器都进行修改yarn-site.xml文件）

1. 重启Hadoop集群。

4.测试

1. 在Hadoop集群启动完毕后，首先开启Hive的metastore服务

[lili@hadoop102 hive]$ nohup bin/hive --service metastore &

1. 服务启动完毕后在启动Hive

[lili@hadoop102 hive]$ bin/hive

1. 创建表

hive (default) > create table student(id int,name string);

1. 向表中插入数据

hive (default)> insert into student values(281,"lili");

执行结果

1. 查看数据

hive (default)> select * from student;

执行结果

1. 到这里没有报错，恭喜你集成完毕！