刚毕业的时候，只知道mysql，不懂hive，但是靠着mysql的基础，hive也能写一点。但其实hive和mysql还是有一些区别的1.什么是hive？ 百度百科： hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。  
转载
2023-09-04 16:27:27
139阅读
文章目录文章简介1 hive简介1.1 本质1.2 架构原理3 DDL语句3.1 数据库3.1.1 创建数据库3.1.2 删除数据库3.1.3 修改数据库3.2 表3.2.1 普通建表00) 语法01) temporary02) external(重点)03) data_type04) row format(重点)05) stored by(重点)06) partitoned by(重点)07)
转载
2023-07-28 15:45:20
424阅读
# SparkSQL与HiveSQL区别解析
## 1. 流程图
```mermaid
flowchart TD
A[开始] --> B[了解需求]
B --> C[编写SparkSQL代码]
C --> D[执行SparkSQL]
D --> E[编写HiveSQL代码]
E --> F[执行HiveSQL]
F --> G[比较结果]
原创
2024-05-23 04:16:59
52阅读
大家好，我是曜耀。我来讲一下hive的一些小知识点。 hive是hadoop下的一个数据仓库工具，用来进行数据的提取、加载、转换，是一种存储、查询和分析数据的一种大规模的机制。hive与mysql不同，hive是不能对单一的数据进行修改和添加，只能对数据进行一些基本的查询，条件查询的一些类似于mysql的一些机制。 hive数据仓库工具将结构化的数据文件眏射成一张数据库表，
转载
2023-09-20 04:54:32
0阅读
安装
mysql 检查是否安装
mysql
： rpm -qa |grep mysql 删除已经安装的
mysql
： rpm -e mysql-libs-5.1.71-1.el6.x86_64 报错：因为
mysql
有相关依赖，并不能直接删除
rpm -e --nodeps mysql-libs-5.1.71-1.el6.x86_64 成功：使用
--
转载
2024-08-27 00:18:01
39阅读
[导读]上周拿到了我的第一个工作任务，统计一个按天分区每天都有百亿条数据条的hive表中account字段的非重用户数(大概两千万)。后来又更改为按id字段分别统计每个id的用户数。上周拿到了我的第一个工作任务，统计一个按天分区每天都有百亿条数据条的hive表中account字段的非重用户数(大概两千万)。后来又更改为按id字段分别统计每个id的用户数。按照我数据库老师的教导，我很轻易的跳出来了c
Hive是一种基bai于duHDFS的数据仓库，并且提供了基于SQL模型的，针对存储了大数zhi据的数据仓库，进行分布式dao交互查询的查询引擎。SparkSQL并不能完全替代Hive，它替代的是Hive的查询引擎，SparkSQL由于其底层基于Spark自身的基于内存的特点，因此速度是Hive查询引擎的数倍以上，Spark本身是不提供存储的，所以不可能替代Hive作为数据仓库的这个功能。Spar
转载
2023-06-27 16:18:03
231阅读
MySQL的DDL，DML，DTL与hive的DDL，DML，DTL的区别对于一般的DDL，DML，DTL的概念和基本语句这里不做概述，以后我会专门梳理一下一套关于MySQL的DDL，DML，DTL。
我个人认为学习hive应该要具备一些基础的MySQL知识，比如简单的增删查改。当然也有人认为，直接从上手会更好一些。
因为hive是类sql语句，所以从sql语句的表面上来看。hive的DDL，
转载
2023-09-08 17:59:36
227阅读
引言随着大数据技术的快速发展，各种大数据处理框架应运而生。Hive 和 Flink 是其中的两个重要代表，它们各自的SQL查询语言——HiveSQL 和 FlinkSQL——在大数据处理领域中起着至关重要的作用。尽管二者在语法上有相似之处，但在设计目标、使用场景和底层实现等方面有显著区别。本文将详细探讨 HiveSQL 和 FlinkSQL 的区别，并通过代码示例加以说明。HiveSQL 简介Hi
原创
精选
2024-05-19 16:35:07
515阅读
## Hivesql和Sparksql的区别
### 介绍
在大数据领域中，Hive和Spark是两个常用的工具。它们都提供了一种类似于SQL的语言来处理和分析大规模数据。然而，Hive和Spark在设计和执行方式上存在一些区别。本文将介绍Hive SQL和Spark SQL的区别，并提供一些代码示例来说明它们之间的不同之处。
### Hive SQL
Hive是建立在Hadoop之上的数
原创
2023-08-21 08:04:55
726阅读
# SparkSQL和HiveSQL的区别
## 1. 整体流程
为了帮助你了解SparkSQL和HiveSQL的区别，我将以以下步骤来解释这个过程：
| 步骤 | 描述 |
| ------ | ------ |
| 步骤1 | 安装配置Hadoop和Hive |
| 步骤2 | 创建和加载数据表 |
| 步骤3 | 使用HiveSQL查询数据 |
| 步骤4 | 安装配置Spark和Sp
原创
2023-08-21 05:05:09
172阅读
一、安装Mysql（1）检查是否已经装了MySql 检查：rpm -qa|grep mysql 使用以下命令卸载，卸载完再用上面命令检查一下 删除：rpm -e --nodeps xxxxxxxx（2）安装MySql 通过yum安装MySql yum install -y mysql-server（3）启动MySql服务 MySQL的服务名： < 5.5 版本 使用 mys
转载
2023-10-16 09:41:01
50阅读
# 从 HiveSQL 到 MySQL 的数据转换
在大数据时代，Hive 和 MySQL 是两个非常流行的数据处理系统。虽然两者都用于存储和查询数据，但 HiveSQL 是一种特定于 Hadoop 生态系统的查询语言，而 MySQL 是一种关系型数据库管理系统。了解如何将 HiveSQL 转换为 MySQL 是数据工程师和数据分析师日常工作中非常重要的一部分。
## HiveSQL 简介
原创
2024-10-20 06:06:34
54阅读
题目一：计算平台的每一个用户发过多少朋友圈、获得多少点赞 已知，数据如下： T1：10万行数据 T2：1000万行数据（注：没有被点赞的日记此表不做记录） 需求：请用sql计算出如下结果： 题目二：处理产品版本号版本号信息存储在数据表中，每行一个版本号。 版本号命名规则符合正则表达式：(?:[1-9
转载
2021-06-13 19:38:00
244阅读
2评论
7 手写HQL 第7题 有一个线上服务器访问日志格式如下（用sql答题） 时间 接口 ip地址 2016-11-09 11：22：05 /api/user/login 110.23.5.33 2016-11-09 11：23：10 /api/user/detail 57.3.2.16 ..... 2
转载
2021-06-12 22:45:00
113阅读
2评论
1 手写HQL 第1题 表结构：uid,subject_id,score 求：找出所有科目成绩都大于某一学科平均成绩的学生 数据集如下 1001 01 90 1001 02 90 1001 03 90 1002 01 85 1002 02 85 1002 03 70 1003 01 70 1003
转载
2021-06-12 22:27:00
128阅读
2评论
4 手写HQL 第4题 已知一个表STG.ORDER，有如下字段:Date，Order_id，User_id，amount。请给出sql进行统计:数据样例:2017-01-01,10029028,1000003251,33.57。 1）给出 2017年每个月的订单数、用户数、总成交金额。 2）给出2
转载
2021-06-12 22:36:00
190阅读
2评论
面试题目一 场景:一个日志表中记录了某个商户费率变化状态的所有信息，现在有个需求,要取出按照时间轴顺序，发生了状态变化的数据行； 1.数据如下: create table datafrog_merchant (f_merchant_id varchar(20), f_rate varchar(20)
转载
2021-06-13 13:07:00
335阅读
2评论
10 手写HQL 第10题 1.用一条SQL语句查询出每门课都大于80分的学生姓名 name kecheng fenshu 张三 语文 81 张三 数学 75 李四 语文 76 李四 数学 90 王五 语文 81 王五 数学 100 王五 英语 90 A: select distinct name
转载
2021-06-12 22:51:00
360阅读
2评论
SparkSQL 整合 HiveHive 是一个外部的数据存储和查询引擎, 所以如果 Spark 要访问 Hive 的话, 就需要先整合 Hive。整合什么 ?MetaStore, 元数据存储 SparkSQL 内置的有一个 MetaStore, 通过嵌入式数据库 Derby 保存元信息, 但是对于生产环境来说, 还是应该使用 Hive 的 MetaStore, 一是更成熟, 功能更强, 二是可以
转载
2023-06-02 14:43:17
134阅读
