hive 分区表msck命令 通常是通过alter table add partition方式增加Hive的分区的，但有时候会通过HDFS put/cp命令往表目录下拷贝分区目录，如果目录多，需要执行多条alter语句，非常麻烦。Hive提供了一个"Recover Partition"的功能。具体语法如：MSCK REPAIR TABLE table_name;**Note:**分区的目录结构必遵
转载
2023-09-08 14:38:50
95阅读
太久没有写点东西了，今天分享一下Java web中我们的一个简单动态加载jar包，无需热部署以及更新以前的class即可上线服务应用，Java的反射机制内容这里不做科普（下面基本无代码，仅提供思路，代码党绕行）。 环境：java8+tomcat（tomcat中的类加与javase的加载器不是一样的，暂不做
原创
2018-03-12 22:53:38
3708阅读
点赞
# 如何实现Hive扩展字段
## 1. 整体流程
首先，让我们来看一下整个实现“hive扩展字段”的流程。下面是一个简单的步骤表格：
```mermaid
flowchart TD
A(创建hive表) --> B(添加扩展字段)
B --> C(加载数据)
C --> D(查询数据)
```
## 2. 具体步骤
### 2.1 创建Hive表
首先，我们需
原创
2024-03-20 04:02:53
70阅读
欢迎访问我的GitHubhttps://github.com/zq2599/blog_demos内容：所有原创文章分类和汇总，及配套源码，涉及Java、Docker、Kubernetes、DevOPS等；本篇概览作为《hive学习笔记》的第二篇，前面咱们了解了基本类型，本篇要学习的是复杂数据类型；复杂数据类型一共有四种：ARRAY：数组MAP：键值对STRUCT：命名字段集合UNIONTYPE：从
转载
2023-10-30 19:21:47
77阅读
前言做程序开发，基础很重要。同样是拧螺丝人家拧出来的可以经久不坏，你拧出来的遇到点风浪就开始颤抖，可见基本功的重要性。再复杂的技术，也是由一个一个简单的逻辑构成。先了解核心基础，才能更好理解前沿高新技术。正文大纲先看效果{github Demo地址}：(https://github.com/18598925736/HotUpdateDemo)Demo使用方法Demo源码概览热修复核心技术基础知识预
转载
2024-05-06 12:13:33
30阅读
Linux虚拟机在使用过程中，硬盘空间不够使用。由于前期没有做LVM，所以只能手动添加新的硬盘。给虚拟机添加硬盘有两种方法：1、通过virsh attach-disk命令添加一块硬盘到系统中，即时生效，但系统重启后新硬盘会消失。2、通过修改虚拟机配置文件进行添加，永久生效。现在我来一一介绍方法一和方法二。方法一、通过virsh attach-disk命令添加硬盘首先看看在未添加新硬盘系统的分区情况
转载
2024-03-01 12:38:55
104阅读
软件环境:linux系统: CentOS6.7Hadoop版本: 2.6.5zookeeper版本: 3.4.8主机配置:一共m1, m2, m3这三部机, 每部主机的用户名都为centos192.168.179.201: m1 192.168.179.202: m2 192.168.179.203: m3 m1: Zookeeper, Namenode, Dat...
转载
2021-06-10 19:45:48
495阅读
软件环境:linux系统: CentOS6.7Hadoop版本: 2.6.5zookeeper版本: 3.4.8主机配置:一共m1, m2, m3这三部机, 每部主机的用户名都为centos192.168.179.201: m1 192.168.179.202: m2 192.168.179.203: m3 m1: Zookeeper, Namenode, Dat...
转载
2021-06-11 17:26:50
285阅读
# 项目方案：扩展Hive Namenode内存
## 1. 背景介绍
在大数据处理中，Hive是一个常用的数据仓库工具，而Hive的Namenode是存储元数据信息的关键组件之一。为了提高Hive的性能和处理能力，我们需要对Namenode的内存进行扩展。
## 2. 方案
### 2.1 原理
Hive Namenode的内存主要用于存储文件系统的命名空间和块信息，因此我们可以通过增加N
原创
2024-04-14 04:54:26
39阅读
环境以及资料准备 hadoop2.7集群（搭建在centos7上，一台master,两台slaver）,hive1.2.1,以及储存元数据的mysql, 2008年搜狗搜索记录日志文件（已清洗）： 链接：http://pan.baidu.com/s/1sljUV6X，密码：p1mt 步骤启动集群# start-dfs.sh# start-yarn.sh start-dfs.
原创
2022-01-11 16:43:07
142阅读
Hadoop，Hive和Spark是大数据相关工作中最常用的三种框架。1 Hadoop hadoop是一个分布式计算框架，是大数据处理的基石，大多其他框架都是以hadoop为基础。Hadoop主要包括两个方面，
转载
2023-08-18 19:24:07
46阅读
文章目录1、概述2、启用mysql管理3、通过mysql查看basic01数据库4、version（存储Hive版本的元数据表）5、Hive数据库相关的元数据表（DBS、DATABASE_PARAMS）6、Hive表和视图相关的元数据表7、Hive文件存储信息相关的元数据表8、Hive表字段相关的元数据表9、Hive表分区相关的元数据表10、其他不常用的元数据表11、最后我们总结下他们之间的关系
转载
2023-07-12 13:00:44
112阅读
# Hive设计表可扩展列的实现
在处理大数据时，Hive作为一个强大的数据仓库工具，可以存储和管理海量数据。设计一个可以扩展列的Hive表，能帮助我们更灵活地处理数据。接下来，我将带领你逐步实现这一目标。这里的步骤将涵盖基本流程和所需代码，实现一个可扩展列的Hive表。
## 一、整体流程
首先，我们需要明确设计一个可扩展列的实现流程。可以用以下表格展示：
| 步骤 | 描述
原创
2024-08-19 05:48:51
44阅读
本文介绍了vivo在大数据元数据服务横向扩展道路上的探索历程，由实际面临的问题出发，对当前主流的横向扩展方案进行了调研及对比测试，通过多方面对比数据择优选择TiDB方案。其次分享了整个扩展方案流程、实施遇到的问题及解决方案，对于在大数据元数据性能上面临同样困境的开发者本篇文章具有非常高的参考借鉴价值。
原创
精选
2023-09-28 10:35:37
726阅读
和JRebel一起使用，修改mybatis的mapper.xml文件不用重启项目 File->Settings->Plugs
转载
2019-11-19 16:36:00
1796阅读
本文通过实际案例深入探讨了 Flink CEP 在复杂事件处理中的核心作用，详细分析了其优缺点，并探讨了在实时计算平台中规则热更新的重要
AntDB数据库始于2008年，在运营商的核心系统上，为全国24个省份的10亿多用户提供在线服务，具备高性能、弹性扩展、高可靠等产品特性，峰值每秒可处理百万笔通信核心交易，保障系统持续稳定运行近15年，并在通信、金融、交通、能源、物联网等行业成功商用落地。AntDB-M的基本功能包括提供各种各样的内置函数，比如
原创
精选
2023-12-01 11:10:52
189阅读
之前我们有介绍过云计算是指IT基础设施的交付和使用模式，通过网络以按需、易扩展的方式获得所需的服务。云计算的使用和交付模式，通常是涉及通过互联网来提供动态易扩展且经常是虚拟化的资源。云计算有如下几个特征：超大规模（能赋予用户前所未有的计算能力）、虚拟化、高可靠性（比使用本地计算机可靠）、通用性（不针对特定的应用）、高可扩展性（规模可以动态伸缩）、按需服务（按需购买）。在了解云计算的时
转载
2024-01-03 06:23:02
43阅读
耦架构构建可扩展的热更新系统。### 核心收益清单- ...
基本了解： 当我们开启热部署之后，服务器不用重新加载（我们的项目也不用被重启），我们修改过后的代码就能生效。关于热部署： 重启：Restart 自定义开发代码，包含类、页面、配置文件等，加载位置restart类加载器重载：Reload jar包，加载位置base类加载器需要添加maven坐标：<dependency>
<g
转载
2023-09-23 01:39:15
694阅读
