前提条件：1、一台配置好hadoop环境的虚拟机。hadoop环境搭建教程：稍后补充2、存在hadoop账户。不存在的可以新建hadoop账户安装配置hadoop。安装教程： 一、Mysql安装1、安装mysql命令:Yum install mysql-server -y （-y参数作用为所有需要输入yes的地方默认yes）2、打开mysql服务:Service mysqld star
转载
2023-07-13 21:17:58
434阅读
hive、Hbase、mysql的区别1、Hive和HBase的区别 1）hive是sql语言，通过数据库的方式来操作hdfs文件系统，为了简化编程，底层计算方式为mapreduce。 2）hive是面向行存储的数据库。 3）Hive本身不存储和计算数据，它完全依赖于HDFS和MapReduce，Hive中的表纯逻辑。 4）HBase为查询而生的，它通过
转载
2024-07-18 17:47:41
36阅读
# 企业中MySQL接入Hive
在企业中，数据的存储和处理是至关重要的。随着数据量的增加，如何高效地管理和分析数据成为了企业面临的重要问题之一。在这个过程中，将MySQL数据库接入Hive成为了一个值得探讨和实践的方向。本文将介绍在企业中如何实现MySQL接入Hive的方法，并通过代码示例来展示具体的操作步骤。
## 为什么要将MySQL接入Hive
在企业中，往往会有多个数据源，其中My
原创
2024-02-24 05:22:33
60阅读
最近一段时间碰到一些数据迁移的项目，如：Oracle迁移到MySQL，MsSQL迁移到MySQL，云MySQL迁移到本地MySQL。对于这方面做了系统的整理。包括：迁移方案的选择、如何跳出迁移遇到的坑、怎样修改MySQL参数获取最大性能，加入分库分表的需求如何实现？迁移方案的选择：抛开业务逻辑的因素，根据不同的版本、不同平台、不同停机时间需求，有不同的可选路径决定迁移方法和工具： 由于
下面案例是配置多数据源，两个及以上，但是主数据源只能是一个，默认mybatis使用的是主数据源下面配置mysql为主数据源，通过注解@Primary标注yaml文件配置：spring:
datasource:
mysqlMain: #mysql主数据源，可关联mybatis
type: com.alibaba.druid.pool.DruidDataSource
转载
2023-05-26 14:15:53
617阅读
一、安装部署Hive1.2 安装Hive把 apache-hive-3.1.2-bin.tar.gz 上传到 linux 的 /opt/software 目录下将 /opt/software/ 目录下的 apache-hive-3.1.2-bin.tar.gz 到 /opt/module/ 目录下面tar -zxvf apache-hive-3.1.2-bin.tar.gz -C /opt/mod
转载
2023-07-12 14:58:13
303阅读
//sqoop导入数据测试
## by coco
## 2014-11-21
1. 下载sqoop，本测试安装的hadoop-2.2.0。所以下载的sqoop为：
sqoop-1.4.5.bin__hadoop-2.0.4-alpha.tar.gz
下载地址为：
http://mirrors.cnnic.cn/apache/sqoop/1.4.5/
2. 下载后，解压缩,配置即可。
tar
原创
2023-06-16 00:34:50
104阅读
## Hive中数值null导入MySQL的实现
作为一名经验丰富的开发者，我将向你介绍如何将Hive中的数值null导入到MySQL中。以下是整个过程的流程图：
```mermaid
flowchart TD
A[创建MySQL表] --> B[创建Hive表]
B --> C[将Hive表导入到MySQL表中]
```
### 步骤一：创建MySQL表
首先，我们需要在My
原创
2023-08-26 11:25:16
124阅读
hive默认是存储到Derby中的,Derby是Java语言编写的微型,常用于内嵌在Java程序中的数据库.但是derby有个缺点,Derby同一个数据库的
原创
2022-07-04 11:38:37
137阅读
一、MySQL数据库1. MySQL中varchar与char的区别以及varchar(50)中的50代表的涵义？答案：Varchar是变长字符串，最多存储的大小是65535字节，查询速度相对较慢；Char 是定常字符串，最多存储的大小是255字节，查询速度相对较快； varchar(50)表示：Mysql4.0 表示存放50个字节，5.0存放50个字符。2. 简述浏览器打开
转载
2024-06-13 21:51:45
42阅读
1. 空值类型1.1NULLhive中null实际在HDFS中默认存储为’\N’，通过查询显示的是’NULL’。这时如果查询为空值的字段可通过语句：col is null 或者 col =’\N’ 实现。此时可用hive中与null有关的函数,如nvl,coalesce,is null等判断是否为null是为true。产生NULL值，一般都是由hive外链接引起的。1.2 ‘’‘’ 表示的是字段不
转载
2023-08-30 20:14:42
357阅读
文章目录三, Hive数据类型1. 基本数据类型2. 集合数据类型2.1 案例实操2.1.1 待创建表的格式2.1.2 在hive中创建表, 并添加字段名和字段类型如下:2.1.3 在文档中按照步骤2中各个字符之间的分隔符规定输入数据, 并上传到HDFS.2.1.4 在Hive中查看这张表:2.1.5 注意: 筛选查询数据的几个方法3. 类型转换四, DDL-数据库定义(会用即可)4.1 数据库管
转载
2023-11-25 00:02:26
100阅读
启动hadoop集群 #start-dfs.sh #start-yarn.sh 关闭hadoop集群 #stop-yarn.sh #stop-dfs.sh1 Hive的分区一个表可以以多个维度来进行分区。分区是在创建表的时候用partitioned by子句定义的。(1)文件people.csv utf-8编码格式 姓名，年龄，性别zhang1,21,m
zhang2,22,m
zhang3,23
转载
2023-09-04 16:30:04
1445阅读
1. with...as语句with 语句，允许hive定义一个sql片段，供整个sql使用，会将这个片段产生的结果集保存在内存中，后续的sql均可以访问这个结果集，作用与视图或临时表类似；with 语句，相当于建立了一张临时虚拟表，但是不会被物理创建，用完即销毁；with 语句，可以将业务接耦，每一个with语句，单独成为一个子模块，最后使用基础表将它们串联起来；这里必须要整体作为一条sql查询
转载
2023-09-12 10:38:29
1000阅读
包含两个案例1、hive多列操作----行转列2、hive单列操作----使用split切分json数据一、udtf的介绍UDTF(User-Defined Table-Generating Functions) 用来解决 输入一行输出多行(On-to-many maping) 的需求二、udtf的使用1、使用规则必须继承org.apache.hadoop.hive.ql.udf.generic.
转载
2023-08-29 17:13:27
42阅读
目录1 数据同步问题1.1 数据同步的场景1.2 数据同步的问题2 拉链表的设计2.1 功能与应用场景2.2 实现过程3 拉链表的实现3.1 数据准备3.2 增量采集3.3 合并数据3.4 生成最新拉链表1 数据同步问题1.1 数据同步的场景Hive在实际工作中主要用于构建离线数据仓库，定期的从各种数据源中同步采集数据到Hive中，经过分层转换提供数据应用。例如，每天需要从MySQL中同步最新的订
转载
2023-09-13 16:05:29
52阅读
目录0 引言1 CTE 的使用1 命令格式2 示例3 CTE作用 小结0 引言 Hive with 语句该子句紧跟在SELECT或INSERT关键字之前，可以在Hive SELECT，INSERT， CREATE TABLE AS SELECT或CREATE VIEW AS SELECT语句中使用一个或多个CTE 。union等集合操作中。&nb
转载
2023-08-25 22:57:29
4304阅读
一、MySQL的安装Hive的数据，是存在HDFS里的。此外，hive有哪些数据库，每个数据库有哪些表，这样的信息称之为hive的元数据信息。元数据信息不存在HDFS，而是存在关系型数据库里，hive默认用的是derby数据库来存储。即hive工作时，除了要依赖Hadoop，还要依赖关系型数据库。注意：虽然我们能通过HDFS查看到hive有哪些数据库，有哪些表，以及表里的数据，但是，这不是元数据信
转载
2023-08-18 22:32:54
102阅读
Sqoop导入导出Null存储一致性问题Hive中的Null在底层是以“\N”来存储，而MySQL中的Null在底层就是Null，为了保证数据两端的一致性,转化的过程中遇到null-string,null-non-string数据都转化成指定的类型，通常指定成"\N"。在导出数据时采用–input-null-string “\N” --input-null-non-string “\N” 两个参数
前言接着上篇文章，我们已经将日志通过Flume收集到了HDFS中，那么接下来就是使用Pig将日志内容结构化，然后保存到Hive数据仓库中。Pig安装1.下载最近稳定版的Pig,点这里.2.解压，修改/etc/profile文件配置环境变量$ export PATH=//pig-n.n.n/bin:$PATH3.$ source /etc/profile使环境变量生效4.测试安装是否成功$ pig
