算法算数表达式求解（不用递归）1．HIVE和HBASE区别1. 两者分别是什么？ Apache Hive是一个构建在Hadoop基础设施之上的数据仓库。通过Hive可以使用HQL语言查询存放在HDFS上的数据。HQL是一种类SQL语言，这种语言最终被转化为Map/Reduce. 虽然Hive提供了SQL查询功能，但是Hive不能够进行交互查询--因为它只能够在Ha
转载
2023-12-10 21:39:40
39阅读
在使用 SQL Server 时，偶尔会遇到“SQL Server has gone”这一错误，这通常意味着 SQL Server 正在意外中断连接，可能是因为网络问题、服务器崩溃、或者数据库服务被强制关闭等原因。为了有效解决这一问题，下面我将详细记录解决“SQL Server has gone”问题的过程，涉及协议背景、抓包方法、报文结构、交互过程、性能优化及扩展阅读几个模块。
## 协议背景
# SQL Server遇到问题的解决流程
作为一名经验丰富的开发者，我们来教一下刚入行的小白如何处理"SQL Server has encountered"的问题。首先，我们需要了解整个问题解决的流程，可以使用表格来展示每个步骤：
| 步骤 | 描述 |
| --- | --- |
| Step 1 | 确定问题的具体错误信息 |
| Step 2 | 检查SQL Server错误日志 |
原创
2023-12-24 06:40:50
147阅读
# 实现"Hive no schema has been selected to create in"的步骤说明
## 概述
在使用Hive创建表时，如果未选择任何schema，则会出现"Hive no schema has been selected to create in"的错误提示。本文将详细介绍如何解决这个问题。
## 解决步骤
以下是解决"Hive no schema has be
原创
2024-01-21 08:48:27
297阅读
#数据源类型
spring.datasource.type=com.zaxxer.hikari.HikariDataSource
#连接池名称，默认HikariPool-1
spring.datasource.hikari.pool-name=KevinHikariPool
#最大连接数，小于等于0会被重置为默认值10；大于零小于1会被重置为minimum-idle的值
spring.dataso
转载
2023-12-24 14:06:58
138阅读
一、SparkSQL 概述
1.1 SparkSQL是什么
Spark SQL是Spark用于结构化数据处理的Spark模块。1.2 Hive and SparkSQL 我们之前学习过hive，hive是一个基于had
转载
2023-08-26 20:48:09
142阅读
关于Hikari连接池的源码理解与配置使用1. 连接池初始化1.1 初始化连接池对于应用者来说，我们构造一个线程池就是构造一个HikariDataSource。重点看一下获取连接以及相关连接管理的流程。public Connection getConnection() throws SQLException {
if (this.isClosed()) {
转载
2023-12-09 12:53:35
114阅读
Hive由Facebook开发，用于解决海量结构化日志的数据统计，于2008年贡献给
原创
精选
2023-03-20 12:24:35
1438阅读
一、常用聚合函数count():计数 count(distinct 字段) 去重统计sum():求合avg():平均max():最大值min():最小值 二、hivesql执行顺序from --> where --> group by --> having --> select--> order by--> limit&n
转载
2023-05-24 23:03:30
336阅读
1. DDL 操作 DDL •建表 •删除表 •修改表结构 •创建／删除视图 •创建数据库 •显示命令 建表：
CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name
[(col_name data_type [COMMENT col_comment], .
转载
2023-09-07 22:34:51
47阅读
大数据面试之hive重点(二) Hive SQL转化为MR的过程？ 可回答：1）Hive SQL的解析过程；2）Hive SQL的底层实现 问过的一些公司：阿里，头条，小米，滴滴，美团x2，网易，快手58，好未来 参考答案： 我们先来看下MapReduce框架实现SQL基本操作的原理 ： 1、Join的实现原理1 select u.name, o.orderid from order o join
转载
2023-07-13 16:57:31
110阅读
推荐:经典sql题及答案(二)经典sql题及答案(三)题目部分第1题 我们有如下的用户访问数据 userId visitDate visitCount
u01 2017/1/21 5
u02 2017/1/23 6
u03 2017/1/22 8
u04 2017/1/20 3
u01 2017/1/23 6
u01 2017/2/21 8
U02 2017/1/23 6
U01
转载
2023-07-12 21:05:59
119阅读
集合统计函数1. 个数统计函数: count语法: count(*), count(expr), count(DISTINCT expr[, expr_.])返回值: int说明: count(*)统计检索出的行的个数，包括NULL值的行；count(expr)返回指定字段的非空值的个数；count(DISTINCTexpr[, expr_.])返回指定字段的不同的非空值的个数举例：hi
转载
2023-07-12 21:25:32
306阅读
一、LAG函数介绍LAG函数是一个常用的窗口函数，作用是取当前行之后的数据，即把该列数据向上错位。使用方法如下：LAG(col ,n ,Default)col是字段名称，指明要操作的列，必须指定该参数；n表示取当前行的后n行的col列数据，可以不指定默认为1；Default 表示前n行没有数据时的默认值，可以不指定默认为NULL.二、案例表及测试数据准备首先创建该案例的表结构、插入测试数
转载
2023-08-31 09:37:48
620阅读
最近在建设数据仓库，处理数据的过程中，经常反复使用hive的HQL语句，尽管HQL和SQL语言有很多相同之处，但也并不是说HQL就能通用SQL的语法。在使用过程中要尤为注意。事情经过是这样的，我在把业务系统数据同步到数仓(数据存储在Hive)中时，在数据汇总层(DWS)，对数据进行汇总处理时，发现有数据丢失的问题，经过排查，发现是在使用 <> 引发的坑。Hive 中 != 或 <
转载
2023-07-12 21:02:53
310阅读
Hive 创建内部表时，会将数据移动到数据仓库指向的路径；若创建外部表，仅记录数据所在的路径，不对数据的位置做任何改变。在删除表的时候，内部表的元数据和数据会被一起删除，而外部表只删除元数据，不删除数据。hive可以创建带分区的内表，
> create table sustPart (id int,name string) //创建表名为sust1
> parti
转载
2023-06-21 10:41:51
123阅读
SQLContext的使用创建一个Scala项目，创建一个主类SQLContextApppackage com.yy.spark
import org.apache.spark.{SparkConf, SparkContext}
import org.apache.spark.sql.SQLContext
/**
* SQLContext的使用
* Spark 1.x使用
*/
obj
转载
2023-08-23 19:58:15
52阅读
前言Hive是构建在Hadoop上的数据仓库软件框架，支持使用SQL来读，写和管理大规模数据集合。Hive入门非常简单，功能非常强大，所以非常流行。通常来说，Hive只支持数据查询和加载，但后面的版本也支持了插入，更新和删除以及流式api。Ｈive具有目前Hadoop上最丰富最全的SQL语法，也拥有最慢最稳定的执行。是目前Hadoop上几乎标准的ETL和数据仓库工具。Hive这个特点与其它AdHo
转载
2023-07-12 21:30:23
71阅读
介绍： Hive 是基于Hadoop 构建的一套数据仓库分析系统，它提供了丰富的SQL查询方式来分析存储在Hadoop 分布式文件系统中的数据，可以将结构 化的数据文件映射为一张数据库表，并提供完整的SQL查询功能，可以将SQL语句转换为MapReduce任务进行运行，通过自己的SQL 去查询分析需 要的内容，这套SQL 简称Hive SQL，使不熟悉mapreduce 的用户很方便的利用S
转载
2023-06-19 18:35:21
184阅读
目录建表准备建表生成数据导入数据到hive需求1.查询课程编号为“01”的课程比“02”的课程成绩高的所有学生的学号（重点）：2、查询"01"课程比"02"课程成绩低的学生的信息及课程分数（重点）:3、查询平均成绩大于等于60分的同学的学生编号和学生姓名和平均成绩（重点）:4、查询平均成绩小于60分的同学的学生编号和学生姓名和平均成绩:5、查询所有同学的学生编号、学生姓名、选课总数、所有课程的总
转载
2023-07-18 12:33:34
358阅读
