大数据面试宝典的博客_Hive

启动Hive报错java.sql.SQLException: Access denied for user ‘root‘@‘node16‘ (using password: YES)

上截图原因分析我的配置文件中mysql的账号密码没问题使用账号密码也可以正常进入mysql权限也没问题解决方案1.重新设置一下mysql密码与hive配置文件中一致进入mysqlSET PASSWORD=PASSWORD('XXXXXX');xxx为你的密码(自定义,与hive配置中一致即可)2.刷新mysql配置(重要!!!)flush privileges;...

hive

mysql

大数据

hive配置

自定义

原创 2022-02-16 16:54:50 327 阅读

hive建表报错 character ‘ ‘ not supported here

问题分析提示每一行的前三个有不支持的字符解决方案将前面三个空格或者更位置字符删除即可

hive

hadoop

数据仓库

解决方案

问题分析

原创 2022-02-16 16:37:30 664 阅读

hive主流的数据存储格式与压缩_对比实验

1.准备工作找一个测试文件 log.data 大小为18.1M2.存储格式对比2.1 默认的 TextFile默认格式，数据不做压缩，磁盘开销大，数据解析开销大。可结合Gzip、Bzip2使用(系统自动检查，执行查询时自动解压)，但使用这种方式，hive不会对数据进行切分，从而无法对数据进行并行操作。创建表，存储数据格式为TEXTFILEcreate table log_text...

hive

大数据

压缩

snappy

实验

原创 2022-02-16 16:37:29 477 阅读

hive的数据压缩

在实际工作当中，hive当中处理的数据，一般都需要经过压缩，前期我们在学习hadoop的时候，已经配置过hadoop的压缩，我们这里的hive也是一样的可以使用压缩来节省我们的MR处理的网络带宽MR支持的压缩编码压缩格式工具算法文件扩展名是否可切分DEFAULT无DEFAULT.deflate否GzipgzipDEFAULT.gz否bz...

大数据

hive

数据压缩格式

hadoop

mapreduce

原创 2022-02-16 16:19:38 76 阅读

面试官: hive你都会了吗?

1、什么是Hive?Hive是基于Hadoop的一个数据仓库工具，能将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能，（能将SQL语句转变成MapReduce任务来执行。）2、Hive的意义（最初研发的原因）?降低程序员使用Hadoop的难度，降低学习成本，3、Hive的内部组成模块，作用分别是什么?元数据：描述数据的数据内部执行流程：解析器（解析器SQL语句）...

大数据

hive

面试题

字段

hdfs

原创 2022-02-16 16:19:38 57 阅读

Hive表中加载数据的5中方式

1.直接分区表中插入数据create table score3 like score;insert into table score3 partition(month ='201807') values ('001','002','100');2.通过查询插入数据通过load方式加载数据load data local inpath '/export/servers/hivedat...

大数据

hive

加载数据

hdfs

创建表

原创 2022-02-16 16:19:37 50 阅读

Hive分桶表入门

什么是分桶表将数据按照指定的字段进行分成多个桶中去，说白了就是将数据按照字段进行划分，可以将数据按照字段划分到多个文件当中去开启分桶表功能set hive.enforce.bucketing=true;设置reduce的个数set mapreduce.job.reduces=3;入门案例(数据自己弄,路径自己设,注意分隔符)创建桶表create table cour...

大数据

hive

分桶表

数据

字段

原创 2022-02-16 16:19:37 94 阅读

Hive的分区表入门

什么是分区表:数据分区的概念以及存在很久了，通常使用分区来水平分散压力，将数据从物理上移到和使用最频繁的用户更近的地方，以及实现其目的。hive中有分区表的概念，我们可以看到分区具重要性能优势，而且分区表还可以将数据以一种符合逻辑的方式进行组织，比如分层存储分区表分别有静态分区和动态分区在大数据中，最常用的一种思想就是分治，我们可以把大的文件切割划分成一个个的小的文件，这样每次操作一...

大数据

hive

分区表

数据

字段

原创 2022-02-16 16:19:37 161 阅读

hive外部表入门

外部表说明：外部表因为是指定其他的hdfs路径的数据加载到表当中来，所以hive表会认为自己不完全独占这份数据，所以删除hive表的时候，数据仍然存放在hdfs当中，不会删掉管理表和外部表的使用场景：每天将收集到的网站日志定期流入HDFS文本文件。在外部表（原始日志表）的基础上做大量的统计分析，用到的中间表、结果表使用内部表存储，数据通过SELECT+INSERT进入内部表。操作案...

大数据

hive

外部表

hdfs

数据

原创 2022-02-16 16:19:37 147 阅读

hive导出数据的7种方式

将hive表中的数据导出到其他任意目录，例如linux本地磁盘，例如hdfs，例如mysql等等insert导出将查询的结果导出到本地insert overwrite local directory '/export/servers/exporthive/a' select * from 表名;将查询的结果格式化导出到本地insert overwrite local directo...

大数据

hive

导出数据

hdfs

集合类型

原创 2022-02-16 16:19:36 1307 阅读

Hive自定义函数

查看hive的内置函数Hive官方文档查看系统自带的函数hive> show functions;显示自带的函数的用法hive> desc function upper;详细显示自带的函数的用法hive> desc function extended upper;Hive自定义函数Hive 自带了一些函数，比如：max/min等，但是数量有限，自己可以通过...

大数据

hive

自定义函数

jar包

其他

原创 2022-02-16 16:19:36 227 阅读

hive参数配置方式

hive参数大全hadoop官方参数大全开发Hive应用时，不可避免地需要设定Hive的参数。设定Hive的参数可以调优HQL代码的执行效率，或帮助定位问题。然而实践中经常遇到的一个问题是，为什么设定的参数没有起作用？这通常是错误的设定方式导致的。一般参数的三种设置方式:配置文件命令行设置参数声明配置文件:hive的配置文件包括↘用户自定义配置文件：$HIVE_CONF_DI...

大数据

hive

配置参数

配置文件

命令行参数

原创 2022-02-16 16:19:36 122 阅读

hive的数据存储格式

Hive支持的存储数据的格式主要有：TEXTFILE（行式存储）、SEQUENCEFILE(行式存储)、ORC（列式存储）、PARQUET（列式存储）。列式存储和行式存储上图左边为逻辑表，右边第一个为行式存储，第二个为列式存储。行存储的特点：查询满足条件的一整行数据的时候，==行存储只需要找到其中一个值，其余的值都在相邻地方。==列存储则需要去每个聚集的字段找到对应的每个列的值，...

大数据

hive

数据存储格式

数据

元数据

原创 2022-02-16 16:19:35 172 阅读

Hive的调优(看完这篇你就可以从小白到大白了)

文章目录Fetch抓取（Hive可以避免进行MapReduce）本地模式Group By开启Map端聚合参数设置Count(distinct)笛卡尔积使用分区剪裁、列剪裁动态分区调整开启动态分区参数设置数据倾斜Map数通常情况下，作业会通过input的目录产生一个或者多个map任务。举例：是不是map数越多越好？是不是保证每个map处理接近128m的文件块，就高枕无忧了？如何适当的增加map数re...

大数据

hive

hive调优

数据

mapreduce

原创 2022-02-16 16:19:35 117 阅读

DataGrip(多引擎数据库管理工具)连接Hive教程

1.首先你的电脑中需要有DataGrip软件链接：https://pan.baidu.com/s/1JpVi4u6bR84Frti_7U0gSw 提取码：bc2t 复制这段内容后打开百度网盘手机App，操作更方便哦 2.你手里有hive驱动的jar包链接：https://pan.baidu.com/s/1mG-ITfEDc_SYzyFN4JyGpA 提取码：rbjs复制这段内容后打开百度网盘手机

大数据

DataGrip

hive

手机app

百度网盘

原创 2022-02-16 16:09:43 1002 阅读

Hive快速入门

1.什么是HiveHive是基于hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提空类SQL查询功能(HQL)其本质是将SQL转化为MapReduce的任务进行运算,底层由HDFS来提供数据的存储,hive可以理解成一个将SQL转换为MapReduce任务的工具2.为什么要使用Hive直接使用hadoop所面临的问题:人员学习成本太高项目周期要求太短...

大数据

hadoop

hive

入门

数据

原创 2022-02-16 16:09:22 256 阅读

Hive的三种交互方式

前提:hive的bin目录已添加到hive的环境变量中1.第一种交互方式：Hive交互shell直接 hive 回车2.第二种交互方式：Hive JDBC服务启动hiveserver2服务前台启动hive --service hiveserver2后台启动nohup hive --service hiveserver2 &beeline连接hiv...

大数据

hive

三种交互方式

交互方式

多参数

原创 2022-02-16 16:09:21 159 阅读

Hive的安装部署(超详细)

1.首先需要准备一下几个安装包hivemysql的jar包链接：https://pan.baidu.com/s/1AQNFhTZ3Fam9EhJ2wfjzKw 提取码：jo2i 复制这段内容后打开百度网盘手机App，操作更方便哦2.安装hive上传安装包,解压cd 安装包所在目录tar zxvf hive-1.1.0-cdh5.14.0.tar.gz -C ../ins...

大数据

hive

hadoop

h5

安装包

原创 2022-02-16 16:06:06 165 阅读

使用mysql共享hive元数据

安装mysql1.在线安装 mysql 相关软件包yum -y install mysql mysql-server mysql-devel2.启动mysql服务并设置开机自启/etc/init.d/mysqld startchkconfig mysqld on3.进入mysql的客户端然后进行授权mysqluse mysql;4.配置远程连接grant all...

大数据

hadoop

hive

使用mysql共享hive元数据

mysql

原创 2022-02-16 15:56:25 90 阅读

DataGrip(多引擎数据库管理工具)连接Hive教程

1.首先你的电脑中需要有DataGrip软件链接：https://pan.baidu.com/s/1JpVi4u6bR84Frti_7U0gSw 提取码：bc2t 复制这段内容后打开百度网盘手机App，操作更方便哦 2.你手里有hive驱动的jar包链接：https://pan.baidu.com/s/1mG-ITfEDc_SYzyFN4JyGpA 提取码：rbjs复制这段内容后打开百度网盘手机

大数据

DataGrip

hive

手机app

百度网盘

原创 2021-12-29 14:46:13 857 阅读

使用mysql共享hive元数据

安装mysql1.在线安装 mysql 相关软件包yum -y install mysql mysql-server mysql-devel2.启动mysql服务并设置开机自启/etc/init.d/mysqld startchkconfig mysqld on3.进入mysql的客户端然后进行授权mysqluse mysql;4.配置远程连接grant all...

大数据

hadoop

hive

使用mysql共享hive元数据

mysql

原创 2021-12-29 14:45:34 45 阅读

面试官: hive你都会了吗?

1、什么是Hive?Hive是基于Hadoop的一个数据仓库工具，能将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能，（能将SQL语句转变成MapReduce任务来执行。）2、Hive的意义（最初研发的原因）?降低程序员使用Hadoop的难度，降低学习成本，3、Hive的内部组成模块，作用分别是什么?元数据：描述数据的数据内部执行流程：解析器（解析器SQL语句）...

大数据

hive

面试题

字段

hdfs

原创 2021-12-29 14:44:50 88 阅读

Hive的安装部署(超详细)

1.首先需要准备一下几个安装包hivemysql的jar包链接：https://pan.baidu.com/s/1AQNFhTZ3Fam9EhJ2wfjzKw 提取码：jo2i 复制这段内容后打开百度网盘手机App，操作更方便哦2.安装hive上传安装包,解压cd 安装包所在目录tar zxvf hive-1.1.0-cdh5.14.0.tar.gz -C ../ins...

大数据

hive

hadoop

h5

安装包

原创 2021-12-29 14:44:50 308 阅读

hive参数配置方式

hive参数大全hadoop官方参数大全开发Hive应用时，不可避免地需要设定Hive的参数。设定Hive的参数可以调优HQL代码的执行效率，或帮助定位问题。然而实践中经常遇到的一个问题是，为什么设定的参数没有起作用？这通常是错误的设定方式导致的。一般参数的三种设置方式:配置文件命令行设置参数声明配置文件:hive的配置文件包括↘用户自定义配置文件：$HIVE_CONF_DI...

大数据

hive

配置参数

配置文件

命令行参数

原创 2021-12-29 14:44:50 739 阅读

Hive快速入门

1.什么是HiveHive是基于hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提空类SQL查询功能(HQL)其本质是将SQL转化为MapReduce的任务进行运算,底层由HDFS来提供数据的存储,hive可以理解成一个将SQL转换为MapReduce任务的工具2.为什么要使用Hive直接使用hadoop所面临的问题:人员学习成本太高项目周期要求太短...

大数据

hadoop

hive

入门

数据

原创 2021-12-29 14:44:50 161 阅读

Hive的分区表入门

什么是分区表:数据分区的概念以及存在很久了，通常使用分区来水平分散压力，将数据从物理上移到和使用最频繁的用户更近的地方，以及实现其目的。hive中有分区表的概念，我们可以看到分区具重要性能优势，而且分区表还可以将数据以一种符合逻辑的方式进行组织，比如分层存储分区表分别有静态分区和动态分区在大数据中，最常用的一种思想就是分治，我们可以把大的文件切割划分成一个个的小的文件，这样每次操作一...

大数据

hive

分区表

数据

字段

原创 2021-12-29 14:44:49 226 阅读

Hive分桶表入门

什么是分桶表将数据按照指定的字段进行分成多个桶中去，说白了就是将数据按照字段进行划分，可以将数据按照字段划分到多个文件当中去开启分桶表功能set hive.enforce.bucketing=true;设置reduce的个数set mapreduce.job.reduces=3;入门案例(数据自己弄,路径自己设,注意分隔符)创建桶表create table cour...

大数据

hive

分桶表

数据

字段

原创 2021-12-29 14:44:49 124 阅读

hive外部表入门

外部表说明：外部表因为是指定其他的hdfs路径的数据加载到表当中来，所以hive表会认为自己不完全独占这份数据，所以删除hive表的时候，数据仍然存放在hdfs当中，不会删掉管理表和外部表的使用场景：每天将收集到的网站日志定期流入HDFS文本文件。在外部表（原始日志表）的基础上做大量的统计分析，用到的中间表、结果表使用内部表存储，数据通过SELECT+INSERT进入内部表。操作案...

大数据

hive

外部表

hdfs

数据

原创 2021-12-29 14:44:49 254 阅读

Hive的三种交互方式

前提:hive的bin目录已添加到hive的环境变量中1.第一种交互方式：Hive交互shell直接 hive 回车2.第二种交互方式：Hive JDBC服务启动hiveserver2服务前台启动hive --service hiveserver2后台启动nohup hive --service hiveserver2 &beeline连接hiv...

大数据

hive

三种交互方式

交互方式

多参数

原创 2021-12-29 14:44:49 278 阅读

hive的数据压缩

在实际工作当中，hive当中处理的数据，一般都需要经过压缩，前期我们在学习hadoop的时候，已经配置过hadoop的压缩，我们这里的hive也是一样的可以使用压缩来节省我们的MR处理的网络带宽MR支持的压缩编码压缩格式工具算法文件扩展名是否可切分DEFAULT无DEFAULT.deflate否GzipgzipDEFAULT.gz否bz...

大数据

hive

数据压缩格式

hadoop

mapreduce

原创 2021-12-29 14:44:48 67 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

大数据面试宝典