2019/2/19 星期二yarn任务调度--capacity scheduler（容量调度） / fair scheduler（公平调度）由于集群资源有限，当无法满足众多application 的资源请求时，yarn 需要适当的策略对application 的资源请求进行调度；Scheduler 概述Yarn 中实现的调度策略有三种：FIFO/Capacity/Fair Schedulers（1
转载
2024-09-05 15:26:56
33阅读
由于应用下线，需要把数据库中相关应用的表删除，库中有一千多张表，事先已经将所有的表rename到test库中，drop table的脚步也已经准备好，所以接下来的工作本以为是很轻松的事情，但是在执行脚本的过程中，发现删除表的速度感觉有点慢，查看主机的负载也在挺高的，报警消息中thread running过高也出现了，发现大多数线程的状态是Opening Tables，但还是勉强的忍受了过去，事后想
转载
2023-07-11 10:26:14
513阅读
先进入hive的bin目录下，执行 ./hive 命令，进入hive的命令行界面。一 对数据库进行操作1 创建数据库假设要创建的数据库名称为tglog_aw_2018 可以用下面的命令来创建数据库：create database tglog_aw_2018;执行效果如下：2 查看数据库 可以使用下面的命令，进行数据库的创建：show databases;执行效果如下： 可以看到，除了我们创建的数据
转载
2023-08-18 14:45:43
119阅读
sql语句insert overwrite table jk_ld_xyxj_1214_25002 partition (stat_month='202110')
select a.msisdn, a.25002_area_type, a.longitude, a.latitude from
(select msisdn,25002_area_type,longitude,latitude,row
转载
2023-07-11 10:32:12
84阅读
# Hive Drop Table 慢的解决方法
## 1. 概述
在Hive中，当我们删除（Drop）一个表时，有时候会遇到删除过程非常慢的情况。这通常是由于表的大小较大，或者表中有很多分区导致的。在这篇文章中，我将向你介绍如何解决这个问题，并给出相应的代码示例。
## 2. 解决方法
下面是解决Hive Drop Table慢的步骤，其中包含了每一步需要做的事情和相应的代码示例。
`
原创
2023-10-29 06:57:28
402阅读
## 什么是Hive以及Hive中的drop all table操作
Apache Hive 是一个数据仓库工具，用于在 Hadoop 中进行数据提取、转换和加载（ETL）的过程。Hive 提供了一个类 SQL 的查询语言，称为 HiveQL，用于处理和查询大规模数据集。
在 Hive 中，我们可以创建多个表来存储不同类型的数据。但是有时候我们需要删除所有的表，这时候就可以使用 `drop a
原创
2024-06-11 03:33:16
40阅读
# 如何在Hive中实现“drop tmp table”
Hive是一个基于Hadoop的数据仓库工具，可以通过SQL风格的查询语言来进行数据处理。在日常的数据分析和处理过程中，我们常常需要创建临时表（tmp table）来存储中间结果。但随时我们也会需要清理这些表，以免占用过多的存储空间。本文将详细介绍如何在Hive中实现“drop tmp table”的步骤，帮助新手开发者掌握这一基本操作。
原创
2024-09-03 04:15:04
49阅读
一.hive实现列自增1.用row_number()函数生成代理键insert into tbl_dim select row_number() over (order by tbl_stg.id)+t2.sk_max,
tbl_stg.* from tbl_stg cross join (select coalesce(max(sk),0) sk_max from tbl_dim) t2;
--
转载
2023-08-18 14:45:21
76阅读
Hive是一种数据仓库工具，用于处理大规模数据集。在Hive中，我们经常需要备份和恢复数据表。下面我将详细介绍如何使用Hive来实现“hive drop table 备份恢复”，让你轻松掌握这一技能。
## 流程
首先让我们看一下整个备份恢复过程的步骤：
| 步骤 | 操作 |
| ------ | ------ |
| 1 | 备份数据表 |
| 2 | 删除原数据表 |
| 3 | 恢复
原创
2024-04-02 04:40:05
150阅读
# Hive表删除操作及其参数解析
在Hive中，我们可以使用`drop table`命令来删除一个表。同时，该命令还提供了一个可选参数`rm -r`，用于删除表的同时删除表的物理数据。本文将为您介绍Hive表删除操作以及`rm -r`参数的使用。
## Hive表删除操作
在Hive中，通过`drop table`命令可以删除一个已经存在的表。该命令的语法如下：
```sql
drop
原创
2023-08-28 10:40:28
410阅读
https://twindb.com/recover-innodb-table-after-drop-table-innodb/这个blog有介绍，下面是我自己的测试。首先是安装工具undrop-for-innodb这个blog上又说明。其实很简单自己安装就是了，报错的时候应该是缺什么东西，自己google一下安装。这里不介绍这个工具的安装。这个工具里面是实验用的数据库，执行一些test.sh这个
原创
2014-08-06 14:34:57
1147阅读
点赞
文章预览：1.创建分区表2.给表中装入数据3.分区表常用的语法1.LOAD2.添加分区3.删除分区4.查看一张表的分区5.导入数据6.动态分区动态分区注意点 1.创建分区表参考官网：https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DDL 需要在之前的基础之上增加PARTITIONED BY语句，如下图： 例：创建一个
转载
2023-08-18 15:42:17
126阅读
## MySQL 执行 `DROP` 卡住的解决方案
在开发中，有时执行 MySQL 的 `DROP` 操作可能会卡住，这种情况可能会造成数据库的性能下降，甚至影响其他操作的执行。本文将指导你如何执行 `DROP` 操作并解决可能会出现的卡住问题。为了便于理解，整个过程将分为几个步骤，并附上代码示例和解释。
### 过程概述
下面的表格展示了执行 MySQL `DROP` 操作的整体流程：
原创
2024-10-18 03:58:27
358阅读
Throwable 是所有 Java 程序中错误处理的父类 ，有两种资类： Error 和 Exception 。
Error ：表示由 JVM 所侦测到的无法预期的错误，由于这是属于 JVM 层次的严重错误 ，导致 JVM 无法继续执行，因此，这是不可捕捉到的，无法采取任何恢复的操作，顶多只能显示错误信息。
Exception ：表示可恢复的例外，这是可捕捉到的。
Java 提供了两类主要的异常
转载
2024-06-21 14:27:05
34阅读
表分区 partition 当一张表的数据非常多的时候,比如单个.myd文件都达到10G, 这时,必然读取起来效率降低. 可不可以把表的数据分开在几张表上?1: 从业务角度可以解决. (分表) 比如, 通过id%10 , user0 , user1…user9, 这10张表 根据不同的余数,来插入或查询某张表.2: 通过mysql的分区功能 mysql将会根据指定的规则,把数据放在不同的表文件上.
转载
2023-12-14 15:54:58
216阅读
最近在hive学习时遇到drop table时卡死，删除失败的情况。先看一下表的情况：0: jdbc:hive2://hadoop102:10000> desc dy_name_table
. . . . . . . . . . . . . . . .> ;
+--------------------------+-----------------------+------------
# 如何实现“hive alter table drop partition删除多个分区”
## 引言
作为一名经验丰富的开发者，我将会指导你如何在Hive中使用`alter table drop partition`命令来删除多个分区。这个过程相对简单，但是需要按照特定的步骤来执行。在接下来的文章中，我会详细讲解整个过程，并提供每一步需要执行的代码，希望对你有所帮助。
## 整个流程
首先，
原创
2024-05-06 04:51:58
3850阅读
# Yarn 卡住的原因及解决方法
在前端开发的过程中，Yarn 作为一个常用的包管理工具，可以帮助我们快速、方便地安装和管理项目依赖。然而，有时我们会遇到“Yarn 卡住”的情况，尤其是在安装依赖时。本文将探讨导致 Yarn 卡住的原因，并提供一些解决办法，帮助开发者更流畅地进行依赖管理。
## 1. Yarn 卡住的原因
Yarn 卡住的原因可能有多种，以下是一些常见的原因：
- **
原创
2024-10-26 03:40:35
397阅读
# YARN卡住问题的解决方法
在大数据处理领域，YARN（Yet Another Resource Negotiator）作为Hadoop生态系统中的资源管理器，承载着任务调度和资源管理的重要职责。然而，在运行大型数据集时，YARN有时可能会出现卡住的现象，影响整体任务的执行效率。本文将探讨导致YARN卡住的常见原因，并提供一些解决方案，以供参考。
## YARN卡住的常见原因
YARN卡
原创
2024-09-14 04:37:41
201阅读
# MySQL中的IF语句和表删除操作
在MySQL数据库中，IF语句是一种流程控制语句，可以根据条件执行不同的操作。而对于表的删除操作，可以通过DROP TABLE语句来实现。本文将介绍如何在MySQL中使用IF语句来判断表是否存在，并在存在的情况下删除该表。
## 判断表是否存在
在MySQL中，可以通过以下查询语句来判断表是否存在于数据库中：
```markdown
SELECT C
原创
2024-03-25 05:16:00
129阅读
