部分项目从kafka迁移至pulsar，近期使用中碰到了一些问题，勉强把大的坑踩完了，topic永驻，性能相关pulsar概念类的东西官方文档和基本介绍的博客很多，也就不重复说明了，更深入的东西也不涉及只说下近期的使用体验设计理念上，虽然pulsar也支持持久化队列，但和kafka对持久化的理解是不一样的kafka的持久化多少有一些数据仓储的概念在里面，数据长期保存，通常是指定数据的保存日期，ka
IntroductionParquet (http://parquet.io/) is an ecosystem wide columnar format for Hadoop. Read Dremel made simple with Parquet for a good introduction to the format while the Parquet pr
转载
2023-11-16 21:32:50
86阅读
Hive数据导入方法、数据导出方法总结一、Hive数据导入方法 ——六条1. 使用 load data 导入2.使用 Insert into / overwrite 导入3. 使用 As select 导入4. 使用Location导入5. 使用Import导入6. 使用Sqoop导入二、Hive数据导出方法——五条1. 使用 Insert overwrite 导出2. 使用 Hadoop 命令
转载
2023-09-13 21:16:01
89阅读
# 如何实现“Load Hive”操作
## 操作流程
| 步骤 | 操作 |
| :---: | :--- |
| 1 | 打开注册表编辑器 |
| 2 | 选择要加载的hive文件 |
| 3 | 指定一个键名 |
| 4 | 修改注册表信息 |
| 5 | 卸载hive文件 |
## 具体操作步骤
### 步骤一：打开注册表编辑器
首先，打开注册表编辑器，可以通过运行命令 `reg
原创
2024-06-29 05:17:00
49阅读
一、数据导入1.向表中装载数据（Load）1.语法hive> load data [local] inpath '数据的 path' [overwrite] into table
student [partition (partcol1=val1,…)];（1）load data:表示加载数据 （2）local:表示从本地加载数据到 hive 表；否则从 HDFS 加载数据到 hive 表
转载
2023-12-12 11:18:00
945阅读
Hive Load语句不会在加载数据的时候做任何转换工作，而是纯粹的把数据文件复制/移动到Hive表对应的地址。语法LOAD DATA [LOCAL] INPATH 'filepath' [OVERWRITE] INTO TABLE tablename [PARTITION (partcol1=val1,partcol2=val2 ...)]描述如果命令中带有LOCAL，说明从本地文件系统加载数据
转载
2023-05-29 15:07:19
199阅读
DML操作(Data Manipulation Language)参考官方文档： DML文档因update和delete在Hive中一般用不到，本篇文章不做讲解。本文主要介绍Load和insert操作。1. LOAD（加载数据）LOAD作用是加载文件到表中（Loading files into tables） * 下面是官网上为我们列出的语法：LOAD DATA [LOCAL] INPATH '
转载
2024-02-27 18:45:33
113阅读
目录数据导入load 加载数据**将hdfs中的文件load到表中****将本地文件load到表中**select加载数据动态分区**设置动态分区参数****创建原始表和分区表****开启自动分区****查询数据动态插入student_dyna表****查看分区目录：**数据导出将数据写入文件系统**将数据写入一个文件****将数据写入多个文件****从一张表中导出两个文件到不同的路径**、**通
转载
2023-07-27 18:57:33
165阅读
Hadoop学习HDFS概述及常用命令一.HDFS概述1.背景2.定义二.HDFS优缺点1.优点2.缺点三.HDFS组成结构1.NameNode2.DataNode3.Client4.Secondary NameNode四.HDFS常用命令1.基本语法2.命令大全3.常用命令实操 HDFS概述及常用命令一.HDFS概述1.背景随着数据量越来越大，在一个操作系统存不下所有的数据，那么就分配到更多的
转载
2024-02-08 06:06:47
40阅读
目录使用LOAD DATA加载数据语法示例将查询结果插入到表中语法示例将查询数据写入到文件系统中语法示例使用 INSERT...VALUES 语句插入数据到表中语法示例 使用LOAD DATA加载数据Hive使用LOAD DATA加载数据的时候，不会进行任何的数据转换操作。完全就是简单的将数据文件复制/移动到表对应的路径下语法LOAD DATA [LOCAL] INPATH 'filepath'
转载
2023-07-10 21:45:00
198阅读
装载数据
1、以LOAD的方式装载数据
LOAD DATA [LOCAL] INPATH 'filepath' [OVERWRITE] INTO TABLE tablename [PARTITION(partcol1=val1, partcol2=val2 ...)]
1) 使用LOCAL这个关键字，那么这个路径应该为本地文件系统路径，是拷贝本地数据到位于
转载
2023-07-21 20:25:42
343阅读
1、DML 数据操作1.1、数据导入1.1.1、 向表中装载数据（Load）语法hive> load data [local] inpath '数据的 path' [overwrite] into table student [partition (partcol1=val1,…)];load data:表示加载数据local:表示从本地加载数据到 hive 表；否则从 HDFS 加载数据到
转载
2023-08-24 11:40:45
160阅读
数据的操作语言DML(Data Manipulation Language)1 LOAD（加载数据）加载文件到表中（Loading files into tables） -下面是官网上为我们列出的语法：LOAD DATA [LOCAL] INPATH 'filepath' [OVERWRITE] INTO TABLE tablename [PARTITION (partcol1=val1, pa
转载
2023-08-18 22:25:41
80阅读
1.声明当前内容主要用于本人学习和复习，当前内容主要为使用LOAD方式将本地的文件导入导数据库中主要分为以下情况(struct、map、array)：创建表的时候指定分隔符本人准备的数据：1|admin|100,80,50|一等奖:2,二等奖:1|phone,watch
2|guest|60,50,90|一等奖:0,二等奖:1|switch,computer,mp32.创建表的时候指定分隔符删除存
转载
2023-09-01 09:59:08
89阅读
在hive客户端建一张表比如bb条件bb与cc表结构相同，cc有数据，把cc的数据导到bb里hive -e是为了解决每次进入客户端的麻烦操作，使用了hive -e命令，可以在hive客户端外对客户端进行操作，例如hive -e "use aaa;select * from cc limit 100" > ./files数据导入到files文件之后方式一：进入hive客户端执行命令load d
转载
2023-06-27 07:46:12
77阅读
一、Hive数据操作---DML数据操作1、数据导入第一种方式：向表中装载数据（Load） //语法
hive> load data [local] inpath '/opt/module/datas/student.txt' overwrite | into table student [partition (partcol1=val1,…)]; load data:表示
转载
2023-08-18 22:43:11
182阅读
N.1 通用的Load/Save函数N.1.1 什么是parquet文件？1）Parquet是列式存储格式的一种文件类型，列式存储有以下的核心：可以跳过不符合条件的数据，只读取需要的数据，降低IO数据量。(在hadoop讲过)压缩编码可以降低磁盘存储空间。由于同一列的数据类型是一样的，可以使用更高效的压缩编码，进一步节约存储空间。只读取需要的列，支持向量运算，能够获取更好的扫描性能。Parquet
转载
2023-10-04 00:03:28
354阅读
## 实现Hive Load命令的步骤
### 流程图
```mermaid
flowchart TD;
A(创建Hive表) --> B(创建外部表);
B --> C(加载数据);
C --> D(查询数据);
```
### 步骤说明
1. 创建Hive表：首先我们需要创建一个Hive表，可以使用`CREATE TABLE`命令来完成。以下是一个示例代码：
原创
2023-11-06 11:39:56
51阅读
1. 内部表、外部表的数据导入1）load方式进行数据的导入local :加local代表是从本地（客户端所在本地）导入的，不加的话表示从hdfs导入数据。① 本地数据导入外部表不支持 overwriteload data local inpath '本地路径' [overwrite] into 表名；这种方式的本质相当于将数据文件上传到了hdfs的hive表的目录底下。（只要hive管理的目录下
转载
2023-09-04 16:56:23
392阅读
# 实现Hive Load字段的步骤
## 概述
在Hive中，`LOAD`命令用于将数据加载到表中。本文将介绍如何使用Hive的`LOAD`命令来实现字段的加载。
## 步骤
下面是实现Hive Load字段的步骤：
| 步骤 | 描述 |
| --- | --- |
| 步骤1 | 创建Hive表 |
| 步骤2 | 准备数据文件 |
| 步骤3 | 将数据文件上传到HDFS |
| 步
原创
2024-01-29 08:12:03
31阅读
