create database cc_test;
use cc_test;
table1 可以理解为记录学生最好成绩的表。 table2可以理解为每次学生的考试成绩。
我们要始终更新table1的数据
create table table1 (
id string ,
maxScore string
)
# MySQL高可用集群搭建
## 前言
在现代的软件开发过程中，数据存储是一个重要的环节。随着数据量的不断增长，单机MySQL数据库已经无法满足高并发和高可用的需求。因此，采用MySQL集群来提供高可用性和性能扩展是一个常见的选择。
本文将介绍如何在Linux环境下搭建一个MySQL高可用集群，并通过代码示例来演示集群的使用。
## 搭建MySQL集群
为了实现MySQL高可用，我们可
# MySQL GROUP BY NULL值很慢
## 引言
在使用MySQL进行数据查询时，经常会使用GROUP BY语句对查询结果进行分组。然而，当GROUP BY的字段包含NULL值时，可能会导致查询速度明显变慢。本文将详细介绍这个问题的原因，并提供一些解决方案来提高查询性能。
## 问题原因
在MySQL中，当使用GROUP BY语句对查询结果进行分组时，MySQL会对结果集进行排序，
SQL中gruop by,having,where使用注意点:
1 如果select子句中的字段没有在聚合函数中，那么就必须出现在group by 子句中。而出现在group by子句中不一定要出现在select子句中。
2 聚合函数不能够用在where子句后面。
3 having是过滤分组过后的数据，在having组函数不能用列别名。
4 having子句也可以用在gro
原创
2012-08-07 10:32:25
739阅读
在mysql 工具 搜索或者插入数据时报下面错误： ERROR 1055 (42000): Expression #1 of SELECT list is not in GROUP BY clause an
转载
2017-11-27 11:16:00
131阅读
2评论
1. bytesbytes = 8 bit一个字节最多可以代表的数据长度是2的8次方 11111111 在计算机中也就是-128到127。2. BITBIT #位字段类型BIT[M] 位字段类型，M表示每个值的位数，范围从1到64，如果M被忽略，默认为13.TINYINTTINYINT[(M)] [UNSIGNED] [ZEROFILL] M默认为4 #很小的整数。带符号的范围是-128到127。
目录一、实现简单的say_hello1、打开IDE在pom.xml中添加如下2、新建 UDFHello.java3、打包 4、上传jar包至hive的lib下，并赋权5、进入Hive，添加jar包6、创建临时函数对应我们的jar包7、测试一下8、总结二、将UDF函数注册到元数据里1、在一的基础上退出hive重新进入，会发现添加的UDF函数没有了，不能用了2、在HDFS上创建一
为什么在Hive中使用分区首先要了解这一点，让我们看一个场景。可以说有一家跨国银行，名称为ABC_BANK，跨多个国家。现在，我们有了一个表，其中包含名为“ new_cust ”的新客户的信息。假设您想找出来自“USA”的新客户数。hive这样做如下 搜索所有国家，并过滤’USA’的记录 计算“美国”的新客户数量 这样可以提供正确的输出，但是我们可以优化它，以便Hive更快地获取记录。如果Hive
转载
2023-09-01 16:33:08
224阅读
1、Sort By:分区内有序2、Order By:全局排序，只有一个Reducer3、Distrbute By：类似MR中的Partition，进行分区，结合sort by使用4、Cluster By：当Distrbute By和Sort By字段相同时，可以使用Cluster By方式。Cluster By除了具有Distrbute By的功能还有Sort By的功能。但是排序只能是升序排序，
转载
2023-07-12 11:15:38
37阅读
数仓-ODS层：1）保持数据原貌不做任何修改，起到备份数据的作用。2）数据采用LZO压缩，减少磁盘存储空间。100G数据可以压缩到10G以内。3）创建分区表，防止后续的全表扫描，在企业开发中大量使用分区表。4）创建外部表。在企业开发中，除了自己用的临时表，创建内部表外，绝大多数场景都是创建外部表。案例：创建用户表：DROP TABLE IF EXISTS ods_user_info;
CREATE
转载
2023-07-12 13:13:27
92阅读
目录一、案例项目实施方案二、 RegexSerDe处理数据三、数据拆分四、UDF数据转换五、数据分析六、基于python数据预处理 一、案例项目实施方案拿到源数据access.log之后，准备工作如下：1.数据进行预处理，加载hive表之前>>MR程序处理
>>正则表达式(企业推荐）
>>python脚本2.表拆分，源数据不变，创建对应业务需求的字表3
转载
2023-07-12 11:18:31
28阅读
扩展HadoopDefaultAuthenticator类的setConf方法，实现可以代理用户运行的功能，主要需求如下：1.不传入参数时，按本用户执行2.传入参数时，按传入参数执行3.对设置为hdfs用户进行限制主要更改HiveConf类和HadoopDefaultAuthenticator类HiveConf增加：HIVE_USE_CUSTOM_PROXY("use.custom.proxy",
原创
2014-12-07 11:51:09
3606阅读
hive的库、表等数据实际是hdfs系统中的目录和文件，让开发者可以通过sql语句， 像操作关系数据库一样操作文件内容， 比如执行查询，统计，插入等操作。一直很好奇hive是如何做到这些的。通过参考网上几篇不错的文档， 有点小心得分享出来。主要的参考链接 http://tech.meituan.com/hive-sql-to-mapreduce.html http://www.
转载
2023-07-21 16:21:41
30阅读
长期维护中。。。。主要记录日常使用
hive中会用到的小技巧1.简单查询不跑MapReduce 如果你想直接查询（select * from table），却不想执行MapReduce，可以使用FetchTask，FetchTask不同于MapReduce任务，它不会启动mapreduce，而是直接读取文件，输出结果。<property>
<name>
hive.fetc
转载
2023-07-12 22:13:44
130阅读
需求描述在推荐业务场景中，会有些好友推荐的应用出现，例如现在的QQ好友推荐。那么在早些年头，关于共同好友的算法题是通过MR来实现的，也是大厂面试题中的一道。昨天跟朋友又聊到这道题目，讨论使用SQL如何实现？那么先来看下这道题的描述，以及扩展问题。问题描述: 比如某社交公司想实现一种功能给用户推荐好友，比如小明和小张不是好友，但是他们有一个共同好友小王，那么我们就可以把小明推荐给小张，给小张推荐小明
转载
2023-07-12 19:43:15
57阅读
安装前准备下载apache-hive-2.3.7-bin.tar.gzhadoop-2.9.2.tar.gz未说明的情况下，宿主机操作命令的默认路径为/opt，容器内操作的默认路径为/usr/local搭建镜像新建执行脚本 vim run.sh #!/bin/bash /usr/sbin/sshd -D新建Dockerfile# 生成的镜像以cent
1.等值join：Hive支持通常的SQL JOIN语句，但是只支持等值连接，==不支持非等值连接==eg. 根据学生和成绩表，查询学生姓名对应的成绩select * from stu left join score on stu.id = score.s_id;2.内连接(inner join)：只有进行连接的两个表都存在与连接条件相匹配的数据才会被保留下来eg. select * from t
转载
2023-09-04 16:02:44
65阅读
第一：Hive的运行原理一、Hive Cli（查询处理器）1.Query CompilerParser（语法解析器，生成AST（抽象语法树））Semantic Analyzer（语义分析器，生成QB（查询块））Logical Plan Generator（逻辑查询计划生成器，生成QB Tree）Logical Optimizer（逻辑查询优化器，生成QB Tree）Physical Plan Ge
## Hive实现for循环
作为一名经验丰富的开发者，你需要教会刚入行的小白如何在Hive中实现for循环。下面是整个流程的详细步骤：
### 流程图
首先，让我们通过一个流程图来展示整个实现for循环的过程。
```mermaid
sequenceDiagram
participant 用户
participant Hive
用户->>Hive: 创建临时表
Hive那些事儿之九-Hive实现数据抽样的三种方法在大规模数据量的数据分析及建模任务中，往往针对全量数据进行挖掘分析时会十分耗时和占用集群资源，因此一般情况下只需要抽取一小部分数据进行分析及建模操作。Hive提供了数据取样（SAMPLING）的功能，能够根据一定的规则进行数据抽样，目前支持数据块抽样，分桶抽样和随机抽样，具体如下所示：数据块抽样（tablesample()函数） 1） table
转载
2023-08-28 09:46:41
342阅读
