一、DDL操作(定义操作)    1、创建表       (1)建表语法结构CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name [(col_name data_type [COMMENT col_comment], ...)] //字段注释 [COMMENT table_
转载 10月前
21阅读
(一)跳跃表跳跃表是一种有序的数据结构,它通过每个节点中维持多个指向其他节点的指针,从而达到快速访问节点的目的。Redis使用跳跃表作为有序集合键的底层实现之一,如果一个有序集合包含的元素数量比较多,或者有序集合中元素的成员是比较长的字符串时,Redis就会使用跳跃表作为有序集合键的底层实现。Redis中的两个地方用到了跳跃表,一个是实现有序集合键,另一个是在集群节点中用作内部数据结构。Redis
转载 7月前
16阅读
**软考zst2001:深入解读中国软件行业的重要考试** 在快速发展的信息化时代,软件行业作为其中的核心驱动力,正日益受到社会各界的广泛关注。为了适应这一行业的迅猛发展和对专业人才的高标准要求,中国推出了软件专业技术资格和水平考试,即广为人知的“软考”。而在这其中,“软考zst2001”作为一个特定的标识或代码,可能指代某个具体的考试科目、标准或年份,它承载着软件行业专业认证的重要使命。 首
原创 2024-02-23 09:49:48
141阅读
在信息技术日新月异的今天,软件设计师的角色在行业中变得越来越重要。他们不仅是编码的专家,更是软件架构设计与应用的关键人物。在这样的背景下,中国的“软考”(计算机软件技术水平考试)为软件行业从业人员提供了一条标准化的评价途径,其中“软件设计师”更是备受瞩目的认证之一。而提及“软考软件设计师zst”,这似乎是某个特定资料、教程或是备考经验的代号,但实际上,它更多地成为了考生们追寻高效备考方法的一个象征
原创 2024-04-25 17:55:55
167阅读
Hive架构: Hive基础 Hive基础 1 概念 1 概念 1.1 简介 1.1 简介 1.1.1 hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表, 并提供简单的sql查询功能,可以将sql语句转换为MapReduce任务进行运行。--OLAP 1.1.1
原创 2021-07-26 17:34:37
1774阅读
1、Hive安装地址 1.Hive官网地址 http://hive.apache.org/ 2.文档查看地址 https://cwiki.apache.org/confluence/display/Hive/GettingStarted 3.github地址 https://github.com/apache/hive2、Hive安装...
原创 2022-05-16 09:30:21
299阅读
文章目录一、环境准备二、Hive 查询1、普通查询2、别名查询3、限定查询4、多表ype) 5 个字段,字符类型为..
原创 2022-08-12 10:39:51
572阅读
# 升级 Hive Hive 是一个基于 Hadoop 的数据仓库工具,它提供了类似于 SQL 的查询语言 HiveQL,允许用户使用类似于 SQL 的语法来分析和处理大规模的数据。 随着技术的发展,Hive 也在不断演进,推出了新版本以提供更好的性能和功能。在本文中,我们将讨论如何升级 Hive,以及一些常用的升级技巧和注意事项。 ## 1. 升级前的准备工作 在升级 Hive 之前,我
原创 2023-08-19 05:16:32
317阅读
# Hive同步Hive:数据仓库之旅 在大数据时代,Hive作为一个在Hadoop生态系统中的数据仓库工具,帮助我们对海量数据进行分析与管理。随着数据应用的不断扩展,数据同步成为了一个重要的课题。本文将介绍Hive同步Hive的过程,并提供代码示例。 ## 什么是Hive同步HiveHive同步Hive是指将一个Hive表中的数据同步到另一个Hive表中。这个过程可能会涉及到多个数据源
原创 9月前
96阅读
注:技术交流可以加我VX:k-loop,昵称:默读者。1,创建用户表   create table tmp_user( uid string comment'用户ID', name string comment'用户名' )comment'用户表' ; 插入测试数据   insert into tmp_user(uid,name) values('A','理
转载 2024-03-11 06:22:54
63阅读
公用表表达式(CTE)是从WITH子句中指定的简单查询派生的临时结果集(会把查询的表数据放到内存中,供其他查询随时使用),该子句紧跟在SELECT或INSERT关键字之前。CTE仅在单个语句的执行范围内定义。可以在Hive SELECT,INSERT,CREATE TABLE AS SELECT 或 CREATE VIEW AS SELECT 语句中使用一个或多个CTE 。  
转载 2023-05-27 15:07:25
274阅读
查询语句语法:[WITH CommonTableExpression (, CommonTableExpression)*] (Note: Only available starting with Hive0.13.0)SELECT [ALL | DISTINCT] select_expr, select_expr, ...FROM table_reference[W...
原创 2022-05-16 09:29:14
2544阅读
Hive uses log4j for logging. By default logs are not emitted to the console by the CLI. The default logging level is WARN for Hive releases prior to 0
原创 2021-08-07 18:34:07
4940阅读
Hive架构1)用户接口:命令行工具;启动方式:hive 或者 hive --service cli通过Thrift对外提供服务,默认端口是10000;启动方式:hive --service hiveserver   WEBUI(浏览器访问hive):通过浏览器访问hive,默认端口是9999;启动方式:hive --service hwi 2)元数据存储(Metastore)
转载 2023-09-02 16:12:37
242阅读
hive的调优优化的主要考虑方面:环境方面:服务器的配置、容器的配置、环境搭建具体软件配置参数:代码级别的优化优的主要原则: 20/80原则非常重要,简单的说80%的程序时间执行时间花费在20%的代码上,所以重点就先要 找到这关键的20%代码做重点优化.1.explain 和 explain extendedexplain : 只有对hql语句的解释。explain extended:对hql语句
转载 2023-11-03 10:34:46
141阅读
Hive简介          Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供类SQL查询功能,Hive底层是将SQL语句转换为MapReduce任务运行(类似于插件Pig\impala\Spark Sql)为什么使用HIVE直接使用 Hadoop 所面临的问题:人员学习成本太高项目周期要求
原创 2021-09-29 16:20:08
2145阅读
一. 数据仓库架构设计数据仓库的主要工作就是ETL,即是英文 Extract-Transform-Load 的缩写,用来描述数据从来源端经过装载(load)、抽取(extract)、转换(transform)至目的端的过程。数据仓库架构设计,即为公司针对自身业务场景实现的水平分层、垂直分主题的数据仓库构建过程的顶层设计。1. 数据架构架构原则:先水平分层,再垂直分主题域。数据架构分三层源数据落地区
原创 2021-10-24 17:59:00
987阅读
1. 求累计频数SELECT ioverduedays, sum(overdue_num) AS overdue_num, SUM(SUM(overdue_nRECEDING A...
原创 2022-08-04 17:30:04
232阅读
数据导入使用Load进行数据的导入LOAD DATA [LOCAL] INPATH 'filepath' [OVERWRITE] INTO TABLE tablename [PARTITION (partcoll = vall , partcol2 = val2 ... )]示例//将student01.txt数据导入t2 load data local inpath '/root/data/st
转载 2024-03-10 22:39:28
73阅读
前言 公用表表达式(CTE)是从WITH子句中指定的简单查询派生的临时结果集(会把查询的表数
原创 2022-11-03 14:44:12
1070阅读
  • 1
  • 2
  • 3
  • 4
  • 5