1.在 hive cli 命令窗口中如何查看 hdfs 文件系统 hive> dfs -ls /;2.在 hive cli 命令窗口中如何查看本地文件系统 hive> ! ls /opt/module/datas;3.查看在 hive 中输入的所有历史命令 进入到当前用户的根目录/root 或/home/atguigu 查看. hivehistory 文件 [atguigu
转载
2024-03-07 07:31:17
156阅读
hive的安装简单一些,使用也比较简单,基础hadoop搭建好之后,只要初始化一些目录和数据库就好了安装需要做几件事:1.设立一个数据源作为元数据存储的地方,默认是derby内嵌数据库,不过不允许远程连接,所以换成mysql2.配置java路径和classpath路径下载地址: http://mirrors.shuosc.org/apache/hive/hive-2.3.3/解压后先配置hive环
转载
2023-09-02 00:27:12
72阅读
当人们无法解释某些事情的时候，就用命运一带而过，而不去管那当中有多少苦痛。——《梦回大清》1、概述1.1 什么是HiveHive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能。1.2 为什么使用Hive直接使用hadoop所面临的问题 人员学习成本太高 项目周期要求太短 MapReduce实现复杂查询逻辑开发难度太大 为什么要使用Hive
转载
2024-07-30 09:35:16
103阅读
相比Java的MapReduce api，Pig为大型数据集的处理提供了更高层次的抽象，与MapReduce相比，Pig提供了更丰富的数据结构，一般都是多值和嵌套的数据结构。Pig还提供了一套更强大的数据变换操作，包括在MapReduce中被忽视的连接Join操作。 Hadoop版本：2.2.0 Pig版本：0.12.1 Pig介绍Pig包括两部分：用于描述数据流的语
转载
2024-09-24 22:46:59
59阅读
hive.exec.mode.local.auto 决定 Hive 是否应该自动地根据输入文件大小，在本地运行（在GateWay运行） 默认值：true hive.exec.mode.local.auto.inputbytes.max 如果hive.exec.mode.loc
转载
2023-07-30 17:35:34
65阅读
Hive概述
Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。
Hive本质是：将HQL转化成MapReduce程序。
Hive处理的数据存储在HDFS中，分析数据底层的实现可以是MapReduce、tes或者Spark，其执行程序运行在Yarn上。
Hive优缺点
优点：
1.使用简单，类SQL语法易于使用。
2.可扩展性，可以随时扩展集
转载
2023-07-23 23:08:49
404阅读
为了更好地使用好Hive，我将《Programming Hive》的Security章节取出来，翻译了一下。Hive还是支持相当多的权限管理功能，满足一般数据仓库的使用。Hive由一个默认的设置来配置新建文件的默认权限。Xml代码 hive.files.umask.value0002Thedfs.u...
转载
2021-08-05 15:46:30
191阅读
hive 调优
1，数据存储调优 1.1 设置压缩： 设置中间数据/输出结果压缩传输，使用snappy格式。hive-site.xml:set hive.exec.compress.output = true # 输出结果压缩
set hive.exec.compress.intermediate = true # 中间结果压缩具体压缩
转载
2023-07-20 20:53:20
130阅读
1、hive.exec.mode.local.auto 决定 Hive 是否应该自动地根据输入文件大小，在本地运行（在GateWay运行） true 2、hive.exec.mode.local.auto.inputbytes.max 如果 hive.exec.mode.local.auto 为 true，当输入文件大小小于此阈值时可以自动在本地模式运行，默认是
转载
2023-07-28 11:47:50
131阅读
Hive部署：前提：在安装Hive之前，要求先预装：
- 安装JDK 8
- 安装Hadoop-2.7.7
- 安装MySQL 5.6.x！！！我这里主节点叫chun1，根据自己的进行修改一、安装1. 下载hive，并解压缩到用户主目录下：tar -xzvf apache-hive-2.3.6-bin.tar.gz
改名：
mv apache-hive-2.3.6-bin hive2. 设置环境变
转载
2023-07-11 10:25:13
104阅读
HIVE-TEZ引擎配置安装基础环境准备参考安装流程1. TEZ环境准备1. 编译工具2. HADOOP3. PROTOBUF安装流程4. LZO安装流程5. TEZ安装流程2. TEZ配置1. HADOOPtez-site.xmltez.sh2. HIVEhive-site.xmlhive-env.sh日志JAR包冲突END! 基础环境准备由于该文章主要关注TEZ引擎的安装，相关组件均只说明版
hue如何安装配置，配置好后怎么使用工作流，解决一些报错在配置前确保有一个可被连接到的数据库； 安装前的准备工作：根据你自己的需求，保证安装前一些组件可以启动； 根据你的需求吧，如果你只想用这个hue可视化界面练习下hivesql，那么你把hive，和hdfs启动起来就行；在集成其他功能组件的时候，每集成一个就测试下hue看看能否使用安装配置HUE我使用的是3.9.0的版本如果你想了解官网对hue
转载
2023-11-23 13:54:01
144阅读
一、hive常用参数0.常用参数 --@Name:
--@Description:
--@Type:全量加载
--@Author:---
--@CreateDate:
--@Target:
--@SourceTable:
--@ModifyBy:
--@ModifyDate:
--@ModifyDesc:
--@Copyright
--设置作业名
set mapred.job.name =
转载
2023-07-14 11:30:22
192阅读
Hive提供了三种可以改变环境变量的方法，分别是：(1)、修改${HIVE_HOME}/conf/hive-site.xml配置文件；(2)、命令行参数；(3)、在已经进入cli时进行参数声明。下面分别来介绍这几种设置方法。方法一：修改${HIVE_HOME}/conf/hive-site.xml配置文件在Hive中国，所有的默认配置都在${HIVE_HOME}/conf/hive-default
转载
2023-07-12 10:06:37
169阅读
Hive安装与配置Hive简介Hive的安装与配置（一）Hive的启动hive的元数据库安装配置MySQLMySQL的开机自启操作配置hive（二）配置hive-env.sh配置hive-site.xml上传mysql-connector-java-5.1.38-bin.jar到$HIVE_HOME/lib观察此时的Hive的元数据库hive_metastore_db重新给整个Hive目录授权（
转载
2023-08-18 23:50:25
193阅读
一、Hive入门1.1 Hive简介1.1.1 hive出现的原因FaceBook网站每天产生海量的结构化日志数据，为了对这些数据进行管理，并且因为机器学习的需求，产生了hive这门技术，并继续发展成为一个成功的Apache项目。1.1.2 什么是hive hive是一个构建在Hadoop上的数据仓库工具(框架)，可以将hdfs上的结构化的数据文件映射成一张数据表，并可以使用类SQ
转载
2023-09-08 13:04:41
135阅读
下载Hive，上传到Linux，然后进行解压使用命令： tar -zxvf XXX.tar.gz 解压完成后，配置Hive的环境变量：输入命令：vi ~/.bash_profile 进行编辑export HIVE_HOME="hive的安装目录"export PATH = $HIVE_HOME/bin:$PATH在Hive目录下的conf目录下，找到hive-env.sh.te
转载
2018-07-19 19:55:00
88阅读
配置HiveHive的配置文件名为hive-site.xml，你可以在Hive安装目录下的conf目录下找到这个文件。如果你发现该目录下没有这个文件，你可以通过复制hive-default.xml.template来生成该文件。当然，你也可以在进入hive时指定参数来明确指明配置文件所在目录。比如：hive --config /home/user/hive-conf你也可以在进入hive时，通过命
转载
2023-07-10 23:19:43
124阅读
1.什么是hive Hive是基于Hadoop的数据仓库解决方案。由于Hadoop本身在数据存储和计算方面有很好的可扩展性和高容错性，因此使用Hive构建的数据仓库也秉承了这些特性。 Hive就是在Hadoop上架了一层SQL接口，可以将SQL翻译成MapReduce去Hadoop上执行，这样就使得数据开发和分析人员很方便的使用SQL来完成海量数据的统计和分析，而不必使用编程语言开发MapRe
转载
2019-10-11 16:52:00
119阅读
Hive配置(只需要主机上配置) MySQL数据库安装元数据迁移到mysql主机上先安装mysql，用于存放hadoop元数据Mysql驱动下载一个数据包mysql-connector-java-5.1.18-bin.jar，放到hive的lib目录下，创建mysql用户并赋权创建hive数据库mysql>create database hive;mysql
原创
2014-10-16 17:08:36
747阅读
