环境相关： 开发主机：Win7 开发环境：IDEA hadoop版本：hadoop-2.6.0-cdh5.7.1 hive版本：hive-1.1.0-cdh5.7.11. 开发环境相关说明依据《Win7 IDEA 开发环境搭建部署》部署Win7系统的idea开发环境，hadoop和hive环境依据《hadoop2.6.0-cdh5.7.1伪分布式编译安装》《hive-1.1.0-cdh5.
1.启动脚本 $HIVE_HOME/bin/hive --service hiveserver2 --> $HIVE_HOME/bin/ ext/hiveserver2.sh --> 可以看到入口类和 org.apache.hive.service.server.HiveServer2 2.简要介绍 HiveServer2 主要包括cli
转载
2024-08-14 21:57:56
117阅读
本文重新回顾一下Hive的两个核心服务：HiveServer2 和 HiveMetastore(HMS)。很多人会简单地把HiveServer2当成Hive的JDBC/ODBC服务，不启动HiveServer2服务，就没有10000端口，JDBC/ODBC客户端就连接不上Hive。从使用者的角度理解这就够了。如果要deep dive一下，HiveServer2的功能不止这些。我们知道：如果把Hiv
转载
2023-09-25 13:30:03
200阅读
# Hiveserver2 UDF占用内存不回收问题解析
在大数据环境中，Hive作为一个流行的数据仓库工具，常常用于进行数据分析与处理。特别是在使用Hiveserver2时，用户定义函数（UDF）能为数据处理提供灵活性。然而，尽管UDF为数据操作提供了极大的便利，Hiveserver2中UDF占用的内存却常常无法有效回收，导致内存增长问题。
## UDF内存占用的原因
Hiveserver
原创
2024-10-30 10:10:07
142阅读
1、HiveServer2基本概念1.1、HiveServer2基本介绍HiveServer2 (HS2) is a server interface that enables remote clients to execute queries against Hive and retrieve the results (a more detailed intro here). The curre
转载
2023-07-20 19:09:53
233阅读
客户现场的CDH6.x版本的集群执行一个大分区表时hiveserver2发生了内存溢出。下面针对该问题进行了复现并深入了解了hiveserver2内存加载使用原理；提出了解决此类问题的方案，具体内容如下。
转载
2023-05-21 15:27:38
556阅读
在之前的学习和实践Hive中，使用的都是CLI或者hive –e的方式，该方式仅允许使用HiveQL执行查询、更新等操作，并且该方式比较笨拙单一。幸好Hive提供了轻客户端的实现，通过HiveServer或者HiveServer2，客户端可以在不启动CLI的情况下对Hive中的数据进行操作，两者都允许远程客户端使用多种编程语言如Java、Py
转载
2023-07-20 19:10:22
194阅读
Hive的元数据服务之前讲了hive的元数据，它存储着hiveSQL映射和hdfs具体文件数据的对应关系。但是元数据存在单独的mysql中 直接将它暴露给外部是不安全的，所以hive特别增加了一个元数据服务。 它作为元数据和外部客户端之间的一个中间人。 metastore有三种服务配置模式 同时也可以说这是hive的三种安装模式： 我们正常使用hive的时候 都是推荐远程模式 因为这种模式最接近我
转载
2023-08-08 11:19:43
465阅读
一. 故障原因:同事晚上收到服务器告警,其中OS磁盘被占用到85%(500G),查找整个OS盘下的文件占用量也没有找到占用几十几百G的大文件,其中先找到了十几个5G多的文件清理掉后,解决磁盘告警的问题,第二天同事反馈到我这里,让我排查一下原因.二.排查思路1.inode小文件,查看存在的并不多2.查看删除未释放的文件,发现有非常多调度系统中的UDF函数调用的未释放(大约有6W多)losf | gr
原创
精选
2023-04-11 20:58:14
828阅读
Hive提供了运行SQL语句查询存储在HDFS上数据的能力，Hive提供的查询引擎，可以将SQL语句转化成MapReduce任务，提交到Hadoop集群上执行。MapReduce任务运行的结果会存在HDFS上。下面的图表示了一个用户运行Hive查询的Hadoop内部交互。 有多种和Hive交互的方法，最常用的是CLI，不过，CLI的设计使其不便于通过编程的方式进行访问。还有可以使用HIveSe
转载
2024-03-13 23:28:36
87阅读
# Hiveserver2简介及代码示例
## 一、什么是Hiveserver2
Hiveserver2是Apache Hive项目的一部分，它是一个面向Hive的远程服务，用于提供对Hive的SQL查询和交互式查询的支持。Hiveserver2使用Thrift作为跨语言的通信框架，可以与多种编程语言进行交互，如Java、Python、Ruby等。
Hiveserver2提供了一种客户端-服
原创
2023-07-16 09:20:25
348阅读
前题hive跑起来了，再继续下面步骤～文件修改 1.配置hive-site.xml 切换到hive
的conf目录下，打开hive-site.xml文件cd /Users/zhaohaichao/programming/hive-1.1.0-cdh5.15.1/conf
vi hive-site.xml添加以下配置<property>
<name>hive.s
转载
2023-09-01 11:44:59
362阅读
在hive中有metaServer与hiveServer2两种服务，看了好多文章说这两个的区别，文章内容有对有错，不够全面，故在这里好好总结一下。首先，下面这个hive构架图，我们一定不陌生，它反应出hive有哪些组件结构 当然下面的图是hadoop1的部分，现在JobTracker是Yarn了 上面的部分是访问Hive的三个入口， 1：直接Cli
2: 通过JDBC
3： webUI
转载
2024-07-28 14:41:53
40阅读
使用HiveServer2及Beeline
HiveServer2的作用：将hive变成一种server服务对外开放，多个客户端可以连接。
启动namenode、datanode、resourcemanager、nodemanager。
1、使用HiveServer2及Beeline HiveServer2的作用：将hive变成一种server服务
转载
2023-07-14 14:42:14
330阅读
目录1 部署启动hiveserver21.1 配置hive-site.xml1.2 配置hadoop中的core-site.xml文件1.3 测试2 高可用部署2.1 hive-site.xml添加配置2.2 Hiveserver2启动2.3 jdbc连接hive server方式2.4. 客户端轮询方式连接2.5 客户端直连方式连接1 部署启动hiveserver21.1 配置hive-site
转载
2023-07-13 19:55:21
161阅读
文章目录概要一、进行heap dump1.1 查HiveServer2的进程id，得到2190451.2 根据进程号，查jstat的gc信息二、heap dump分析2.1 把hiveServer2的heap dump回来2.2 使用eclipse memory analyzer进行分析2.3 leak suspects2.4 dominatorTree对象占用空间比例2.5 整个jstat后台
转载
2023-07-14 12:29:34
487阅读
hive的hiveserver2模式启动不起来，发现Hadoop一直处于安全模式命令介绍命令hadoop fs –safemode get 查看安全模式状态
命令hadoop fs –safemode enter 进入安全模式状态
命令hadoop fs –safemode leave 离开安全模式状态用Hadoop fsck查看破坏丢失的文件位置hadoop fsck
Usage: DFSc
转载
2024-06-01 02:53:06
78阅读
Hadoop和Hbase也好，Zookeeper也是，看着官方和别人写的过程去布的时候，也不知道是安装包的问题还是什么的，它们永远就会在本来挺顺利的中间环节用bug把你烦透，就好像明明知道某个数学题怎么解，就是没有办法用正确的解法解出，结果总和正解不一样；幸运的是，大部分都被不断的搜寻资料和摸爬滚打中解决。以下总结了部分遇到的问题，希望和我一样遇到这
启动方式1， hive 命令行模式，直接输入/hive/bin/hive的执行程序，或者输入 hive –service cli 用于linux平台命令行查询，查询语句基本跟mysql查询语句类似2， hive web界面的启动方式，hive –service hwi
转载
2023-07-18 12:30:31
208阅读
