前提条件：1、一台配置好hadoop环境的虚拟机。hadoop环境搭建教程：稍后补充2、存在hadoop账户。不存在的可以新建hadoop账户安装配置hadoop。安装教程： 一、Mysql安装1、安装mysql命令:Yum install mysql-server -y （-y参数作用为所有需要输入yes的地方默认yes）2、打开mysql服务:Service mysqld star
转载
2023-07-13 21:17:58
434阅读
# Pycharm中操作Hive
## 介绍
在本文中，我将向你介绍如何在Pycharm中操作Hive。Hive是一个基于Hadoop的数据仓库工具，可以用于处理大规模的结构化和半结构化数据。
作为一名经验丰富的开发者，我将带领你完成以下步骤：
1. 安装和配置Pycharm
2. 安装和配置Hive
3. 创建Hive连接
4. 使用Pycharm操作Hive
## 步骤
下面是整个流程的
原创
2023-08-20 07:29:34
903阅读
场景有一张明细事务级别的流水表，主键是事件流水号srl_id, 该表每天采集当天新增及变化的事件下发，上游下发文件分区日期prt_dt. 存在这样的情况，某个流水号srl_id在20210101发生，会在prt_dt=20200101的分区首次下发，若之后在20200105发生改变，在prt_dt=20200105会再次下发。每个流水号都有一个estb_dt，即首次发生日期，同一srl_
转载
2024-02-05 16:27:23
50阅读
Hive中的常见操作删除数据库：drop database if exists test；【其中，test是一个数据库的名字】
原创
2022-01-28 14:27:01
33阅读
Hive中的常见操作删除数据库：drop database if exists test；【其中，test是一个数据库的名字】
原创
2021-07-08 14:37:49
94阅读
# 实现Hive中union优化操作
作为一名经验丰富的开发者，我将指导你如何在Hive中实现union优化操作。首先让我们来看一下整个流程：
```mermaid
stateDiagram
[*] --> 开始
开始 --> 创建临时表: 创建临时表A和表B
创建临时表 --> 插入数据: 向表A和表B插入数据
插入数据 --> 执行union: 执行unio
原创
2024-06-11 03:30:40
76阅读
如何在Hive表中进行数组操作
## 1. 概述
在Hive中，我们可以使用内置的函数和语法来进行数组操作。本文将向你介绍如何在Hive表中进行数组操作的步骤，并提供相应的代码示例和解释。
## 2. 操作步骤
以下是在Hive表中进行数组操作的步骤的概览：
| 步骤 | 操作 |
| --- | --- |
| 步骤1 | 创建Hive表 |
| 步骤2 | 插入数据到Hive表 |
|
原创
2024-01-17 05:47:38
199阅读
由于hive查询结果是不能直接保存到mysql的，通常用python驱动hiveserver2，也利用python将结果保存到mysql。需要的包网上百度，搜到的包不外乎下面3个，这里用第二个。1、pyhs2,已没有更新维护https://github.com/BradRuderman/pyhs22、pyhivehttps://github.com/dropbox/PyHive3、i...
原创
2021-07-27 15:34:09
3243阅读
由于hive查询结果是不能直接保存到mysql的，通常用python驱动hiveserver2，也利用python将结果保存到mysql。需要的包网上百度，搜到的包不外乎下面3个，这里用第二个。1、pyhs2,已没有更新维护https://github.com/BradRuderman/pyhs22、pyhivehttps://github.com/dropbox/PyHive3、i...
原创
2021-07-12 11:47:56
637阅读
Facebook 经常使用分析来进行数据驱动的决策。在过去的几年里，用户和产品都得到了增长，使得我们分析引擎中单个查询的数据量达到了数十TB。我们的一些批处理分析都是基于 Hive 平台(Apache Hive 是 Facebook 在2009年贡献给社区的)和 Corona( Facebook 内部的 MapReduce 实现)进行的。Facebook 还针对包括 Hive 在内的多个内部数据存
转载
2023-12-29 12:31:47
38阅读
Hive基础SQL语法1：DDL操作DDL是数据定义语言，与关系数据库操作相似，创建数据库CREATE DATABASE|SCHEMA [IF NOT EXISTS] database_name显示数据库SHOW databases；查看数据库详情DESC DATABASE|SCHEMA database_name切换数据库USE database_name修改数据库ALTER (DATABASE
转载
2023-09-12 20:30:12
104阅读
1、等值JoinHive支持通常的SQL JOIN语句，但是只支持等值连接，不支持非等值连接。案例实操（1）根据员工表和部门表中的部门编号相等，查询员工编号、员工名称和部门名称hive (default)> select e.empno, e.ename, d.deptno, d.dname from emp e join dept d
on e.deptno = d.deptno;2、表
转载
2023-08-09 11:04:45
57阅读
在数据仓库建设，处理日常业务需求的过程中，经常会遇到各种各样的问题。在处理更新操作数据时，遇到数据重复问题。前期因为没考虑到关系型数据库update操作，把数据同步到hive时有数据重复问题，在业务日常报表分析时，带来很大困扰。今天就简单来说一下，遇到这样的场景该如何处理。其实只要用到hive的窗口函数即可解决。业务背景首先，要来谈谈为啥会遇到这个问题。如何不结合业务背景讨论这个问题，那么是毫无意
转载
2023-07-13 16:59:28
172阅读
1.字段查询 select empno,ename from emp; 2.过滤where，limit，distinct select * from emp where sal >2500; select * from emp limit 2; select distinct deptno from
转载
2016-11-03 21:07:00
191阅读
2评论
# 连接Hive的基本操作命令
在Linux系统中，使用Hive连接到Hadoop分布式数据存储系统是非常常见的操作。Hive是一个基于Hadoop的数据仓库工具，能够将结构化数据映射到Hadoop上，并提供类SQL语言的查询功能。本文将介绍在Linux系统中使用Hive连接Hadoop的基本操作命令，并附有代码示例。
## 连接Hive
首先，我们需要启动Hive服务，然后通过命令行连接到
原创
2024-02-23 04:12:31
62阅读
# 使用IDEA操作Hive的流程
## 1. 准备工作
在开始操作Hive之前，需要确保以下几个步骤已经完成：
- 安装JDK和IDEA：确保你已经正确安装了Java Development Kit (JDK) 和 IntelliJ IDEA。
- 下载和安装Hive：从Apache官网下载Hive的最新版本，并按照官方文档进行安装。
## 2. 创建Hive项目
在IDEA中创建一个新的H
原创
2023-10-16 07:43:12
263阅读
python连接hive需要将python代码放到linux上运行 在window上至今测试不通连接hive from pyhive import hive
conn=hive.Connection(
host=‘192.168..’,
port=10000,
database=‘test’)
cursor=conn.cursor()
cursor.execute(‘select *
转载
2023-06-27 14:06:31
224阅读
# MySQL操作日志同步到Hive
在大数据领域，数据同步是非常常见的操作，特别是将关系型数据库中的数据同步到数据仓库中。在本文中，我们将介绍如何将MySQL操作日志同步到Hive中。MySQL是一种流行的关系型数据库管理系统，而Hive是基于Hadoop的数据仓库工具，用于查询和分析大型数据集。
## 流程图
```mermaid
flowchart TD;
A[MySQL操作日
原创
2024-02-25 05:05:53
54阅读
hive、Hbase、mysql的区别1、Hive和HBase的区别 1）hive是sql语言，通过数据库的方式来操作hdfs文件系统，为了简化编程，底层计算方式为mapreduce。 2）hive是面向行存储的数据库。 3）Hive本身不存储和计算数据，它完全依赖于HDFS和MapReduce，Hive中的表纯逻辑。 4）HBase为查询而生的，它通过
转载
2024-07-18 17:47:41
36阅读
Hive操作 1、建库 create database mydb;create database if no exists mydb;create database if no exists mydb location "/aa/bb"; 2、查询数据库查询库列表：show databases;查询
转载
2020-07-21 14:39:00
161阅读
