安装
mysql 检查是否安装
mysql
： rpm -qa |grep mysql 删除已经安装的
mysql
： rpm -e mysql-libs-5.1.71-1.el6.x86_64 报错：因为
mysql
有相关依赖，并不能直接删除
rpm -e --nodeps mysql-libs-5.1.71-1.el6.x86_64 成功：使用
--
转载
2024-08-27 00:18:01
39阅读
刚毕业的时候，只知道mysql，不懂hive，但是靠着mysql的基础，hive也能写一点。但其实hive和mysql还是有一些区别的1.什么是hive？ 百度百科： hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。  
转载
2023-09-04 16:27:27
139阅读
大家好，我是曜耀。我来讲一下hive的一些小知识点。 hive是hadoop下的一个数据仓库工具，用来进行数据的提取、加载、转换，是一种存储、查询和分析数据的一种大规模的机制。hive与mysql不同，hive是不能对单一的数据进行修改和添加，只能对数据进行一些基本的查询，条件查询的一些类似于mysql的一些机制。 hive数据仓库工具将结构化的数据文件眏射成一张数据库表，
转载
2023-09-20 04:54:32
0阅读
Hive是一种基bai于duHDFS的数据仓库，并且提供了基于SQL模型的，针对存储了大数zhi据的数据仓库，进行分布式dao交互查询的查询引擎。SparkSQL并不能完全替代Hive，它替代的是Hive的查询引擎，SparkSQL由于其底层基于Spark自身的基于内存的特点，因此速度是Hive查询引擎的数倍以上，Spark本身是不提供存储的，所以不可能替代Hive作为数据仓库的这个功能。Spar
转载
2023-06-27 16:18:03
231阅读
MySQL的DDL，DML，DTL与hive的DDL，DML，DTL的区别对于一般的DDL，DML，DTL的概念和基本语句这里不做概述，以后我会专门梳理一下一套关于MySQL的DDL，DML，DTL。
我个人认为学习hive应该要具备一些基础的MySQL知识，比如简单的增删查改。当然也有人认为，直接从上手会更好一些。
因为hive是类sql语句，所以从sql语句的表面上来看。hive的DDL，
转载
2023-09-08 17:59:36
227阅读
文章目录文章简介1 hive简介1.1 本质1.2 架构原理3 DDL语句3.1 数据库3.1.1 创建数据库3.1.2 删除数据库3.1.3 修改数据库3.2 表3.2.1 普通建表00) 语法01) temporary02) external(重点)03) data_type04) row format(重点)05) stored by(重点)06) partitoned by(重点)07)
转载
2023-07-28 15:45:20
424阅读
1、Spark SQL简介¶
说SparkSql之前，就不得不说下它的前身-Shark。首先，Hive是一个基于Hadoop的数据仓库工具，用户可以通过HiveQL语句将其转化为MapReduce任务来运行。其主要过程是用户输入HiveQL语句，进入到驱动模块后编译器会进行解析辨析，并有优化器对该操作进行优化计算。接下来将其交给执行器去执行器，执行器会启动一个或多个MapR
转载
2023-08-13 21:44:56
322阅读
目录1. nvl（value，default_value）2. case when3. concat、concat_ws、collect_set4. explode & lateral view5. 窗口函数（聚合函数+窗口函数，指定聚合函数的聚合范围）（where后不能接别名，嵌套子查询）6. row_number & dense_rank & rank（后接over窗口
转载
2023-09-01 18:26:55
230阅读
# SparkSQL与HiveSQL区别解析
## 1. 流程图
```mermaid
flowchart TD
A[开始] --> B[了解需求]
B --> C[编写SparkSQL代码]
C --> D[执行SparkSQL]
D --> E[编写HiveSQL代码]
E --> F[执行HiveSQL]
F --> G[比较结果]
原创
2024-05-23 04:16:59
52阅读
1.请分析SparkSQL出现的原因，并简述SparkSQL的起源与发展。 Shark提供了类似于Hive的功能，与Hive不同的是，Shark把SQL语句转换成Spark作业，而不是MAPreduce作业。为了实现Hive的兼容，Shark重用了Hive中的Hive SQL解析、逻辑执行计划翻译、执行计划优化等逻辑。可以近似的认为，Sark仅仅将物理执行计划从Map Reduce作业替换成了S
转载
2023-07-13 20:14:44
159阅读
Hive基本SQL操作库的创建与删除建库语句删除库修改表的建删改查建表语句的结构表相关的SQL语句建表语句创建普通表创建字段限制的表创建hive表 create like语法创建自定义行格式的hive表创建默认分隔符的hive表（^A、^B、^C）创建hive的外部表(需要添加external和location的关键字)内部表和外部表的区别外部表创建分区表创建单分区表创建多分区表动态分区分桶表的
转载
2024-06-19 05:55:33
54阅读
[导读]上周拿到了我的第一个工作任务，统计一个按天分区每天都有百亿条数据条的hive表中account字段的非重用户数(大概两千万)。后来又更改为按id字段分别统计每个id的用户数。上周拿到了我的第一个工作任务，统计一个按天分区每天都有百亿条数据条的hive表中account字段的非重用户数(大概两千万)。后来又更改为按id字段分别统计每个id的用户数。按照我数据库老师的教导，我很轻易的跳出来了c
本篇博文主要讲解内容如下： 1. Spark SQL与DataFrame 2. RDD与DataFrame 3. Spark SQL企业级最佳实践 一：Spark SQL与DataFrame 1. Spark SQL非常强大主要体现在一下几点：a) 可以处理一切存储介质和各种格式的数据(可以方便的扩展Spark SQL的功能来支持更多类型的数据，例如Kudu)，包括Hive，Mysql
转载
2023-12-06 21:11:33
41阅读
引言随着大数据技术的快速发展，各种大数据处理框架应运而生。Hive 和 Flink 是其中的两个重要代表，它们各自的SQL查询语言——HiveSQL 和 FlinkSQL——在大数据处理领域中起着至关重要的作用。尽管二者在语法上有相似之处，但在设计目标、使用场景和底层实现等方面有显著区别。本文将详细探讨 HiveSQL 和 FlinkSQL 的区别，并通过代码示例加以说明。HiveSQL 简介Hi
原创
精选
2024-05-19 16:35:07
515阅读
# SparkSQL和HiveSQL的区别
## 1. 整体流程
为了帮助你了解SparkSQL和HiveSQL的区别，我将以以下步骤来解释这个过程：
| 步骤 | 描述 |
| ------ | ------ |
| 步骤1 | 安装配置Hadoop和Hive |
| 步骤2 | 创建和加载数据表 |
| 步骤3 | 使用HiveSQL查询数据 |
| 步骤4 | 安装配置Spark和Sp
原创
2023-08-21 05:05:09
172阅读
## Hivesql和Sparksql的区别
### 介绍
在大数据领域中，Hive和Spark是两个常用的工具。它们都提供了一种类似于SQL的语言来处理和分析大规模数据。然而，Hive和Spark在设计和执行方式上存在一些区别。本文将介绍Hive SQL和Spark SQL的区别，并提供一些代码示例来说明它们之间的不同之处。
### Hive SQL
Hive是建立在Hadoop之上的数
原创
2023-08-21 08:04:55
726阅读
目录SparkSql的特点DataFrameDataSetSparkSql语法创建DataFrame的方法SQL语法DSL语法RDD、DataFrame、DataSet联系Spark sql的前身是Shark,Shark是一个为Spark设计的大规模数据仓库系统，它与Hive兼容。但是Shark继承了Hive的大且复杂的代码使得Shark很难优化和维护。于是后面就分化出了两个框架，一个是Spark
转载
2024-05-14 19:14:44
77阅读
一、安装Mysql（1）检查是否已经装了MySql 检查：rpm -qa|grep mysql 使用以下命令卸载，卸载完再用上面命令检查一下 删除：rpm -e --nodeps xxxxxxxx（2）安装MySql 通过yum安装MySql yum install -y mysql-server（3）启动MySql服务 MySQL的服务名： < 5.5 版本 使用 mys
转载
2023-10-16 09:41:01
50阅读
1 手写HQL 第1题 表结构：uid,subject_id,score 求：找出所有科目成绩都大于某一学科平均成绩的学生 数据集如下 1001 01 90 1001 02 90 1001 03 90 1002 01 85 1002 02 85 1002 03 70 1003 01 70 1003
转载
2021-06-12 22:27:00
128阅读
2评论
4 手写HQL 第4题 已知一个表STG.ORDER，有如下字段:Date，Order_id，User_id，amount。请给出sql进行统计:数据样例:2017-01-01,10029028,1000003251,33.57。 1）给出 2017年每个月的订单数、用户数、总成交金额。 2）给出2
转载
2021-06-12 22:36:00
190阅读
2评论
