1.基本概念1）ODPS：Open Data Processing Service， 简称ODPS；是由阿里云自主研发，提供针对TB/PB级数据、实时性要求不高的分布式处理能力，应用于数据分析、挖掘、商业智能等领域；阿里巴巴的离线数据业务都运行在ODPS上； 2）御膳房：基于ODPS的一个应用模型；基于公共云计算的数据管理、计算和交换平台，为政府机构、企业、科研机构、第三方软件服务商等客户，提供大
转载
2023-12-12 21:52:50
339阅读
目录索引一、字符串函数二、窗口函数三、聚合函数四、日期函数
五、数学函数 一、字符串函数1.char_matchcountbigint char_matchcount(string str1, string str2)用途：用于计算字符串str1中的字符有多少个出现在字符串str2中；2.charstring char(bigint ascii)用途：将一个给定的ASCII码转换为字符3.conc
转载
2024-02-02 07:20:11
313阅读
hive是基于Hadoop的一个数据仓库工具，用来进行数据的ETL，这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。hive能将结构化的数据文件映射为一张数据库表，并提供SQL查询功能。Hive SQL是一种类SQL语言，与关系型数据库所支持的SQL语法存在微小的差异。本文对比MySQL和Hive所支持的SQL语法，发现相同的SQL语句在Hive和MySQL中输出结果的会有所不
转载
2023-07-12 22:10:07
582阅读
1.数据仓库DW1.1 简介 Data warehouse（可简写为DW或者DWH）数据仓库，是在数据库已经大量存在的情况下，为了进一步挖掘数据资源、为了决策需要而产生的，它是一整套包括了etl、调度、建模在内的完整的理论体系。数据仓库的方案建设的目的，是为前端查询和分析作为基础，主要应用于OLAP（on-line Analytical Processing），支持复杂的分析操作，侧重决策支持，并
转载
2024-01-11 12:28:02
90阅读
Oracle Database 11g : SQL 基础第一章：使用SQL SELECT 语句检索数据使用的表1、空值2：列别名1：定义列别名 2：使用列别名select FIRST_NAME AS "Name",SALARY*12 AS "Alnry ada" from employees
select FIRST_NAME AS name,COMMISSION_PCT AS comm fro
阿里云大数据开发套件的使用，主要涉及到odps、ads、rds、ots相关数据库的操作，所以针对性的做一些总结，并将阿里云中产品与实际产品对应分析。Maxcompute（原odps）阿里云中的Maxcompute（原odps）其实就是hive，扮演数据仓库的角色，适合存储轨迹类历史数据，适合存储的数据量大，适合海量数据的处理，适合对数据进行离线分析，数据挖掘运算；OLAP不支持插入和删除等事务、事
转载
2023-11-23 11:38:24
539阅读
一.首先是oracle和mysql对比 Oracle和MySQL的语法区别，主要包括数据类型，函数和其他。（1）with Oracle 中用with来构建一个临时表 MySQL不支持with，MySQL通过小括号的方式来处理，
转载
2023-08-18 22:31:19
439阅读
Apache Doris 社区 2022 年的总体规划，包括待开展或已开展、以及已完成但需要持续优化的功能、文档、社区建设等多方面，我们期待有更多的小伙伴参与进来讨论。同时也希望多多关注Doris，给Doris加StarApache Doris 2022 Roadmap 该使用指南之针对Ubuntu环境来进行测试的，Centos环境可以参考，但是不确保一定能成功。1.软件环境操作系统：u
Hive基本SQL操作库的创建与删除建库语句删除库修改表的建删改查建表语句的结构表相关的SQL语句建表语句创建普通表创建字段限制的表创建hive表 create like语法创建自定义行格式的hive表创建默认分隔符的hive表（^A、^B、^C）创建hive的外部表(需要添加external和location的关键字)内部表和外部表的区别外部表创建分区表创建单分区表创建多分区表动态分区分桶表的
转载
2024-06-19 05:55:33
54阅读
简介什么是Hadoop?hadoop中有3个核心组件 分布式文件系统：HDFS —— 实现将文件分布式存储在很多的服务器上 分布式运算编程框架：MAPREDUCE —— 实现在很多机器上分布式并行运算 分布式资源调度平台：YARN —— 帮用户调度大量的mapreduce程序，并合理分配运算资源专业术语
OLTP Online Transaction Processing 联机事务处理
OLAP
转载
2024-05-04 21:25:19
137阅读
一、背景介绍 最近几天，接到公司的一个将当前大数据平台数据全部迁移到阿里云ODPS平台上的任务。而申请的这个ODPS平台是属于政务内网的，因考虑到安全问题当前的大数据平台与阿里云ODPS的网络是不通的，所以不能使用数据采集工作流模板。 然而，考虑到原大数据平台数据量并不是很大，可以通过将原大数据平台数据导出到CSV文件，然后再将CSV文件导入到ODPS平台。在这个过程中踩的坑有点多，所以想写篇
转载
2023-10-12 18:17:57
218阅读
数据库（database）：传统的关系型数据库的主要应用（OLTP），主要是基本的、日常的事务处理，例如银行交易。数据仓库（data warehouse）：数据仓库系统的主要应用主要是OLAP（On-Line Analytical Processing），支持复杂的分析操作，侧重决策支持，并且提供直观易懂的查询结果。简单来说，数据仓库是一种结构体系，而数据库是一种具体技术。这就是最根本的区别。以M
转载
2023-08-11 10:19:25
144阅读
1、Hive简介什么是Hive?Hive是建立在Hadoop文件系统上的数据仓库，它提供了一系列工具，能够对存储在HDFS中的数据进行数据提取、转换和加载（ETL），这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的工具。Hive定义简单的类SQL查询语言（即HQL），可以将结构化的数据文件映射为一张数据表，允许熟悉SQL的用户查询数据，允许熟悉MapReduce的开发者开发mappe
转载
2023-09-12 11:45:10
662阅读
由于 Hive 采用了类似SQL 的查询语言 HQL(Hive Query Language)，因此很容易将 Hive 理解为数据库。其实从结构上来看，Hive 和数据库除了拥有类似的查询语言，再无类似之处。本文将从多个方面来阐述 Hive 和数据库的差异。数据库可以用在 Online 的应用中，但是Hive 是为数据仓库而设计的，清楚这一点，有助于从应用角度理解 Hive 的特性。1.1 查询语
转载
2023-09-01 16:20:57
372阅读
Sqool和Hive、HBase简介 Sqoop Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的开源工具，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。 Hive 不想用程序语言开发MapReduce的朋友比如DB们，熟悉SQL的朋友可以使用Hive开离
转载
2024-07-04 21:02:35
47阅读
前言：不是做数仓的，但是也需要了解数仓的知识。其实分层好多因人而异，问了同事好多分层的区别也不是很清晰。所以后续有机会还是跟数仓的同事碰一下吧~一. 各种名词解释1.1 ODS是什么？ODS层最好理解，基本上就是数据从源表拉过来，进行etl，比如mysql 映射到hive，那么到了hive里面就是ods层。ODS 全称是 Operational Data Store，操作数据存储.“面向主题的”，
转载
2024-01-02 22:14:28
134阅读
case具有两种格式。简单case函数和case搜索函数，也就是说既能实现多条件分析，又能实现语句搜索。点滴---简单的case函数，即多条件分析
case sex
when '1' then '男'
when '0' then '女'
else '其他'
end---case 查询功能
case
when sex='1' then '男'
转载
2023-10-15 00:53:18
683阅读
# Hive与MySQL语法区别
作为一名经验丰富的开发者，首先我会告诉刚入行的小白整个实现过程，然后逐步指导他每一步需要做什么以及使用的代码和注释。让我们开始吧！
## 实现过程
下面是实现“Hive与MySQL语法区别”的步骤：
| 步骤 | 描述 |
| --- | --- |
| 步骤1 | 确保已安装Hive和MySQL |
| 步骤2 | 创建一个Hive表 |
| 步骤3 |
原创
2023-11-07 15:30:03
137阅读
Hive SQL 与 SQL 基本上一样，因为当初的设计目的，就是让会 SQL 不会编程MapReduce
原创
2022-07-02 00:09:36
794阅读
1.hive内联支持什么格式？2.分号字符注意什么问题？3.hive中empty是否为null?4.hive是否支持插入现有表或则分区中？5.hive是否支持INSERT INTO 表 values（）？1、Hive不支持等值连接 •SQL中对两表内联可以写成：•select * from dual a,dual b where a.key = b.key;•Hive中应为•select
转载
2023-08-06 13:02:45
151阅读
