自打Hive出现之后，经过几年的发展，SQL on Hadoop相关的系统已经百花齐放，速度越来越快，功能也越来越齐全。本文并不是要去比较所谓“交互式查询哪家强”，而是试图梳理出一个统一的视角，来看看各家系统有哪些技术上相通之处。考虑到系统使用的广泛程度与成熟度，在具体举例时一般会拿Hive和Impala为例，当然在调研的过程中也会涉及到一些其他系统，如Spark SQL，Presto，TAJO等
文章目录Yarn简介Yarn产生的原因Yarn架构ResourceManagerApplicationMasterNodeManagerContainerYarn工作流程分析作业提交作业初始化任务分配任务运行进度和状态更新作业完成Yarn中的资源调度器先进先出调度器（FIFO）容量调度器（Capacity Scheduler）公平调度器（Fair Scheduler）Yarn任务的推测执行机制启
转载
2023-08-16 17:44:34
48阅读
# Hadoop Pig语法介绍
Hadoop Pig是一个用于大规模数据处理的高级数据分析工具，它使用Pig Latin这种简单易懂的脚本语言来进行数据处理。Pig Latin类似于SQL，但更适合用于处理非结构化和半结构化数据。在本文中，我们将介绍Hadoop Pig的语法，通过一些示例代码来说明其用法。
## Pig Latin基础语法
在Pig Latin中，数据流通过一系列的操作符
原创
2024-07-02 05:53:34
60阅读
一、hadoop简介作用：一种分析和处理大数据的软件平台,再大量计算机组成中实现对海量数据的分布式计算。语言：java形式：Hadoop 是一个基础框架，允许用简单的编程模型在计算机集群上对大型数据集进行分布式处理。它的设计规模从单一服务器到数千台机器，每个服务器都能提供本地计算和存储功能，框架本身提供的是计算机集群高可用的服务，不依靠硬件来提供高可用性。二、Hadoop 生态圈Hadoop 是一
转载
2023-08-07 17:50:27
61阅读
文章目录1.map阶段2.reduce阶段3.where2.join3.group by4.order by5.sort by6.if（判断条件，成立的返回值，否则的返回值）7.case when xx then yy else zz end8、函数1）split2）concat_ws3）datediff4）concat5）向下取整函数floor6）日期增加函数date_add7）类型转换函数c
转载
2023-09-13 23:27:51
53阅读
文章目录前言1.Impala-Shell2.Impala SQL语法3.导入数据以及JDBC方式查询Impala总结 前言Impala的核心开发语言是SQL语句，Impala有shell命令行窗口、JDBC等方式来接收SQL语句执行，对于复杂类型分析可以使用C++或者Java来编写UDF函数。Impala的SQL语法高度集成了Apache Hive的HQL语法，Impala支持Hive支持的数据
转载
2023-07-12 15:34:51
77阅读
本文来自与作者阅读 Programming Pig 所做的笔记，转载请注明出处 http://www.cnblo
转载
2022-12-16 17:54:42
228阅读
DDL Operations
创建表
hive> CREATE TABLE pokes (foo INT, bar STRING);
创建表并创建索引字段ds
hive> CREATE TABLE invites (foo INT, bar STRING) PARTITIONED BY (ds STRING);
显示所有表
hive> SHOW TABLES;
转载
精选
2011-06-01 22:38:16
1688阅读
hdfs常用命令：第一部分：hdfs文件系统命令第一类：文件路径增删改查系列：hdfs dfs -mkdir dir 创建文件夹hdfs dfs -rmr dir 删除文件夹dirhdfs dfs -ls 查看目录文件信息hdfs dfs -lsr 递归查看文件目录信息hdfs dfs -stat path 返回指定路径的信息 第二类：空间
转载
2024-10-08 12:56:40
17阅读
DDL Operations
创建表
hive> CREATE TABLE pokes (foo INT, bar STRING);
创建表并创建索引字段ds
hive> CREATE TABLE invites (foo INT, bar STRING) PARTITIONED BY (ds
STRING);
显示所有表
hive> SHOW
转载
精选
2010-05-18 17:26:46
10000+阅读
Hive 是基于Hadoop 构建的一套数据仓库分析系统，它提供了丰富的SQL查询方式来分析存储在Hadoop 分布式文件系统中的数据，可以将结构化的数据文件映射为一张数据库表，并提供完整的SQL查询功能，可以将SQL语句转换为MapReduce任务进行运行，通过自己的SQL 去查询分析需要的内容，
转载
2017-07-07 22:41:00
88阅读
2评论
http://www.uml.org.cn/yunjisuan/201409235.asp
原创
2023-05-07 11:31:03
86阅读
我们知道，在spark shell 中操作hdfs 上的数据是很方便的，但是操作也未免过于繁琐，幸好spark 还想用户提供另外两种操作 spark sql 的方式一 spark-sql启动方式也比较简单如果不添加 hive.metastore.warehouse.dir hiveconf 这个参数，则启动的spark sql 是基于本地文件的，默认为 file:/user/hive/w
转载
2023-07-13 11:16:12
33阅读
Hive 是基于Hadoop 构建的一套数据仓库分析系统，它提供了丰富的SQL查询方式来分析存储在Hadoop 分布式文件系统中的数据，可以将结构化的数据文件映射为一张数据库表，并提供完整的SQL查询功能，可以将SQL语句转换为MapReduce任务进行运行，通过自己的SQL 去查询分析需要的内容，
转载
2017-07-07 22:42:00
96阅读
2评论
Hadoop Hive sql语法详解 Hadoop Hive sql语法详解 Hive 是基于Hadoop 构建的一套数据仓库分析系统，它提供了丰富的SQL查询方式来分析
转载
2016-04-30 12:20:00
131阅读
2评论
Hadoop Hive sql语法详解存储，学习，共享
转载
2023-06-19 13:34:47
175阅读
Hive 是基于Hadoop 构建的一套数据仓库分析系统，它提供了丰富的SQL查询方式来分析存储在Hadoop 分布式文件系统中的数据，可以将结构化的数据文件映射为一张数据库表，并提供...
转载
2015-03-26 13:18:00
120阅读
2评论
Hive 是基于Hadoop 构建的一套数据仓库分析系统。它提供了丰富的SQL查询方式来分析存储在Hadoop 分布式文件系统中的数据，能够将结构化的数据文件映射为一张数据库表，并提供完整的SQL查询功能，能够将SQL语句转换为MapReduce任务进行执行。通过自己的SQL 去查询分析需要的...
转载
2015-10-19 13:43:00
194阅读
2评论
目标目标确保python封装hql执行工具在Linux上面能够正常运行。大纲准备工作python开发遇到的问题map reduce排除故障的思考hql工具在linux运行的情况其他关于整个项目部署的阶段思考 读者朋友可以根据自己的需要选择阅读，希望开卷有益。1 准备工作环境依赖上， 只需要hive正常安装，并且hive数据仓库有至少一个数据库。所以读者朋友不一定使用我们前面章节的Orders表等
之前对GreenPlum与Mysql进行了TPC-H类的对比测试，发现同等资源配比条件下，GreenPlum的性能远好于Mysql，有部分原因是得益于GreenPlum本身采用了更高效的算法，比如说做多表join时，采用的是hash join方式。如果采用同样高效的算法，两者的性能又如何？由于GreenPlum是由PostgreSQL演变而来，完全采用了PostgreSQL的优化算法，这次，我们
转载
2023-10-17 21:52:58
146阅读
