Hive部署：前提：在安装Hive之前，要求先预装：
- 安装JDK 8
- 安装Hadoop-2.7.7
- 安装MySQL 5.6.x！！！我这里主节点叫chun1，根据自己的进行修改一、安装1. 下载hive，并解压缩到用户主目录下：tar -xzvf apache-hive-2.3.6-bin.tar.gz
改名：
mv apache-hive-2.3.6-bin hive2. 设置环境变
转载
2023-07-11 10:25:13
104阅读
HIVE-TEZ引擎配置安装基础环境准备参考安装流程1. TEZ环境准备1. 编译工具2. HADOOP3. PROTOBUF安装流程4. LZO安装流程5. TEZ安装流程2. TEZ配置1. HADOOPtez-site.xmltez.sh2. HIVEhive-site.xmlhive-env.sh日志JAR包冲突END! 基础环境准备由于该文章主要关注TEZ引擎的安装，相关组件均只说明版
hue如何安装配置，配置好后怎么使用工作流，解决一些报错在配置前确保有一个可被连接到的数据库； 安装前的准备工作：根据你自己的需求，保证安装前一些组件可以启动； 根据你的需求吧，如果你只想用这个hue可视化界面练习下hivesql，那么你把hive，和hdfs启动起来就行；在集成其他功能组件的时候，每集成一个就测试下hue看看能否使用安装配置HUE我使用的是3.9.0的版本如果你想了解官网对hue
转载
2023-11-23 13:54:01
144阅读
hive 调优
1，数据存储调优 1.1 设置压缩： 设置中间数据/输出结果压缩传输，使用snappy格式。hive-site.xml:set hive.exec.compress.output = true # 输出结果压缩
set hive.exec.compress.intermediate = true # 中间结果压缩具体压缩
转载
2023-07-20 20:53:20
130阅读
1、hive.exec.mode.local.auto 决定 Hive 是否应该自动地根据输入文件大小，在本地运行（在GateWay运行） true 2、hive.exec.mode.local.auto.inputbytes.max 如果 hive.exec.mode.local.auto 为 true，当输入文件大小小于此阈值时可以自动在本地模式运行，默认是
转载
2023-07-28 11:47:50
131阅读
一、hive常用参数0.常用参数 --@Name:
--@Description:
--@Type:全量加载
--@Author:---
--@CreateDate:
--@Target:
--@SourceTable:
--@ModifyBy:
--@ModifyDate:
--@ModifyDesc:
--@Copyright
--设置作业名
set mapred.job.name =
转载
2023-07-14 11:30:22
192阅读
Hive概述
Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。
Hive本质是：将HQL转化成MapReduce程序。
Hive处理的数据存储在HDFS中，分析数据底层的实现可以是MapReduce、tes或者Spark，其执行程序运行在Yarn上。
Hive优缺点
优点：
1.使用简单，类SQL语法易于使用。
2.可扩展性，可以随时扩展集
转载
2023-07-23 23:08:49
404阅读
hive.exec.mode.local.auto 决定 Hive 是否应该自动地根据输入文件大小，在本地运行（在GateWay运行） 默认值：true hive.exec.mode.local.auto.inputbytes.max 如果hive.exec.mode.loc
转载
2023-07-30 17:35:34
65阅读
Hive提供了三种可以改变环境变量的方法，分别是：(1)、修改${HIVE_HOME}/conf/hive-site.xml配置文件；(2)、命令行参数；(3)、在已经进入cli时进行参数声明。下面分别来介绍这几种设置方法。方法一：修改${HIVE_HOME}/conf/hive-site.xml配置文件在Hive中国，所有的默认配置都在${HIVE_HOME}/conf/hive-default
转载
2023-07-12 10:06:37
169阅读
vi ./bin/hive-config.shexport JAVA_HOME=/usr/local/jdk/jdk1.8.0export HADOOP_HOME=/usr/local/hadoopexport HIVE_HOME=/usr/local/hive/apache-hive-1.2.1cp hive-default.xml.template hive-site.xml<
原创
2016-11-08 14:17:31
1480阅读
hive.metastore.local false javax.jdo.option.ConnectionURL jdbc:mysql://hadoop23:3306/hive?createDatabaseIfNotExist=true&useUnicode...
转载
2013-11-08 17:35:00
80阅读
2评论
Hive配置(只需要主机上配置) MySQL数据库安装元数据迁移到mysql主机上先安装mysql，用于存放hadoop元数据Mysql驱动下载一个数据包mysql-connector-java-5.1.18-bin.jar，放到hive的lib目录下，创建mysql用户并赋权创建hive数据库mysql>create database hive;mysql
原创
2014-10-16 17:08:36
747阅读
1、先在主节点上安装阿里云配置（看别的文档）2、把需要的两个jar包加入进来（放到hadoop用户目录下面即可即/home/hadoop/）mysql-connector-java-5.1.47.tar.gzapache-hive-2.3.4-bin.tar.gz3、解压压缩包（在hadoop用户主节点下运行）下载地址然后下载hive文件http://mirror.bit.edu.cn/apach
转载
2024-06-16 21:01:02
51阅读
Hive官网：https://cwiki.apache.org/confluence/display/HiveHadoop狭义 Hadoop是最重要最基础的一个部分广义 Hadoop生态圈，包括Hadoop、Hive、Sqoop、HBase…Hive概述构建在Hadoop（HDFS/MapReduce/YARN）之上的数据仓库 Hive的数据是存放在HDFS之上 Hive底层执行引擎：MapRed
转载
2024-04-10 20:23:20
40阅读
1.hive简介
1）hive是建立在hadoop之上的数据仓库基础架构，它提供了一系列的工具，可以用来进行数据提取转化加载（ETL）
，这是一种可以存储、查询、和分析存储在hadoop中的大规模数据的机制，
转载
2023-11-23 22:56:25
83阅读
Hive1 安装与环境配置更多整理都在我的github上：Auraros欢迎大家来查看。准备好的安装包：1. apache-hive-2.3.6-bin.tar.gz
2. mysql-8.0.17-linux-glibc2.12-x86_64.tar.xz
3. mysql-connector-java-8.0.21.jar安装前说明：安装hive前提是要先安装hadoop集群hive只需要再h
转载
2024-04-18 10:09:19
53阅读
一、Hive参数配置方式Hive中提供三种改变环境变量的方法，分别是：（1）修改 ${HIVE_HOME}/conf/hive-site.xml 配置文件；（2）命令行参数；（3）进入Hive客户端后手动设置。下面以修改‘hive.exec.scratchdir’参数为例具体介绍这三种方式。假设Hive提交任务时需要修改map/reduce任务中间数据输出的HDFS路径（默认中间数据存储
转载
2023-07-09 21:37:05
388阅读
hive的环境搭建hive有三种模式内嵌模式，本地模式，远程连接内嵌模式的配置1. 简介：使用hive自带数据库derby来进行存储元数据，通常用于测试
优点：使用简单，不用进行配置
缺点：只支持单session。
1. 将hive安装包上传到/opt/software/,进行解压
$ tar -zxvf apache-hive-1.2.1-bin.tar.gz -C /opt/a
转载
2023-09-20 06:30:46
138阅读
这里面列出了hive几乎所有的配置项，下面问题只是说出了几种配置项目的作用。更多内容，可以查看内容问题导读：1.hive输出格式的配置项是哪个？2.hive被各种语言调用如何配置？3.hive提交作业是在hive中还是hadoop中？4.一个查询的最后一个map/reduce任务输出是否被压缩的标志，通过哪个配置项？5.当用户自定义了UDF或者SerDe，这些插件的jar都要放到这个目录下，通过那
转载
2023-09-13 15:26:01
241阅读
1、查看当前所有的配置信息hive> set;2、参数的配置的几种方式（1）配置文件方式 默认配置文件：hive-default.xml 用户自定义配置文件：hive-site.xml 注意：用户自定义配置会覆盖默认配置。另外，Hive也会读入Hadoop的配置，因为Hive是作为Hadoop的客户端启动的，Hive的配置会覆盖Hadoop的配置。配置文件的设定对本机启动的所有Hive进程都
转载
2023-05-30 11:33:53
1317阅读
