文章目录1. 数据倾斜2.hive的优化:1）排序的选择：2）尽量避免使用笛卡尔积3）使用join替代in/exists4）多重查询| 数据插入5）jvm重用:通过参数配置一个container中重复运行的task数量6）小文件合并：多个文件进行逻辑合并7）reducetask的个数8）合理设计分桶9）合理设计分区10）join:能使用mapjoin 尽量使用mapjoin11）group by
转载
2023-07-12 22:48:28
88阅读
写SQL要先了解数据本身的特点，如果有join ,group操作的话，要注意是否会有数据倾斜一、数据倾斜处理方法如果出现数据倾斜，应当做如下处理：set hive.exec.reducers.max=200;
set mapred.reduce.tasks= 200; #增大Reduce个数
set hive.groupby.mapaggr.checkinter
转载
2023-07-12 20:02:35
62阅读
#前言1.hive介绍##2. centos7安装mysql###### 目的：为了存储hive的元数据表，如果用hive自带的Derby库，起一个hive shell连接就要单独创建一个库，不能够共享元数据表。 ###### 1.直接yum安装没有源，所以先下载rpm包###### 2.查看当前可用的mysql安装资源 yum repolist enabled |
转载
2023-07-12 11:59:39
98阅读
一、列裁剪与分区裁剪1.列裁剪（只查询需要的字段，千万不要直接写 select * from）
列裁剪就是在查询时只读取需要的列。当列很多或者数据量很大时，如果select所有的列或者不指定分区，导致的全列扫描和全表扫描效率都很低。
2.分区裁剪（有分区条件的一定要加上分区条件【如：dt...】）
分区裁剪就是在查询时只读需要的分区。二、排序技巧–distribute by 与sort by 配
转载
2023-06-19 16:38:12
233阅读
学习hive前言：在互联网界，有一群人专门钻研数据库，擅长使用sql语句处理数据，在之前的学习中，我们明确了hdfs在大数据中的地位，我们处理大数据时，一般使用mapreduce 进行处理，这使得居于数据库的sql语句没有了用武之地，而每次查询hdfs中的数据，使用mapreduce有比较麻烦，用一句俗话说，懒人推动世界，于是就有了hivehivehive是基于Hadoop的一个数据仓库工具，可以
大数据面试之Hive1.Hive1.1 Hive的架构模型？1.2 Hive配置、启动和访问？1.3 hive中存放的是什么？1.5 Hive建表语句1.6 Hive内部表，外部表的区别1.7 Hive如何导入数据？1.8 Hive如何导出数据？1.9 Hive的数据倾斜1.10 Hive分区、分桶如何实现？优缺点1.11 请说明hive中Sort By、Order By、Cluster By，
大数据之Hive简介第一部分一、Hive基本概念Hive简介Hive系统架构二、Hive的安装安装Hive安装MySQL配置Hive元数据到MySQL访问Hive使用元数据方式访问Hive使用JDBC方式访问HiveHive常用交互命令Hive常见属性配置Hive常见参数配置三、Hive的数据类型基本数据类型集合数据类型类型转换四、HiveDDL数据定义创建数据库创建表五、HiveDML数据操作
转载
2023-09-18 03:22:26
75阅读
一、什么是Hive Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。 本质是：将HQL转化成MapReduce程序； 1）Hive处理的数据存储在HDFS 2）Hive分析数据底层的实现是MapReduce 3）执行程序运行在Yarn上 二、Hive的优缺点 优点 1)操作接口采用类SQL语法，提供快速开发的能力（简单、容易上手）。 2)避
转载
2023-09-08 19:09:26
48阅读
1.Hive的基础概念本文介绍了大数据技术之Hive的一些基础概念，包括什么是Hive、Hive的优缺点、架构原理，以及和常用数据库的比较。 1.1什么是Hive1.Hive是由Facebook开源，用于解决海量 结构化日志的 数据统计。 2.Hive是基于Hadoop的一个数据仓库工具（可以将其看作是Hadoop的一个客户端），可以将结构化的数据文件映射为一张表，并提供类SQL的查询功能。Hiv
Hive的优化主要分为：配置优化、SQL语句优化、任务优化等方案。 其中在开发过程中主要涉及到的可能是SQL优化这块。 优化的核心思想是： 减少数据量（例如分区、列剪裁） 避免数据倾斜（例如加参数、Key打散） 避免全表扫描（例如on添加加上分区等） 减少job数（例如相同的on条件的join放在一 ...
转载
2021-09-22 14:18:00
136阅读
2评论
原文链接：https://blog.csdn.net/mayaohao/article/details/122004618
1.1 什么是 Hive
1） hive 简介
Hive：由 Facebook 开源用于解决海量结构化日志的数据统计工具。
Hive 是基于 Hadoop 的一个==数据仓库工具==，可以将结构化的数据文件映射为一张表，并提供类 SQL 查询功能
2） Hive 本质：将 H
转载
2023-09-08 19:02:17
128阅读
“ 大数据时代，熟练使用SQL是基础中的基础，而Hive 定义了简单的类 SQL 查询语言，称为 HQL，它允许熟悉 SQL 的用户快速、简便查询海量数据。”01 Hive是什么Hive是基于hadoop的一个数仓分析工具，hive可以将hdfs上存储的结构化的数据，映射成一张表，然后让用户写HQL(类SQL)来分析数据。举例：tel up
转载
2023-10-10 14:17:50
67阅读
二 Hive 安装环境准备2.1 Hive 安装地址2.2 Hive 安装部署1）Hive 安装及配置（1）把 apache-hive-1.2.1-bin.tar.gz 上传到 linux 的/opt/software 目录下（2）解压 apache-hive-1.2.1-bin.tar.gz 到/opt/module/目录下面[atguigu@hadoop102 software]$ tar -
安装完CDH后，发现里面的东东实在是太多了，对于一个初学大数据的来说就犹如刘姥姥进了大观园，很新奇，这些东东每个单拿出来都够喝一壶的。接来来就是一步一步地学习了，先大致学习了每个模组大致做什么用的，然后再按模组一个一个细致学习，并实际演练。我给自已的第一个课题是如何将Sql Server的一个表数据导入到HDFS中，网上有很多这样的教程，不过我觉得最有用的还是官网的User Guide，网上的教程
转载
2023-07-13 01:32:30
181阅读
一、HIve概述hive是一个可以把数据用sql处理的工具，数据存储再hdfs上，底层处理是用mr，通过用sql的方式通过mr获得需要的数据，执行程序运行再yarn上。二、HIVE和MYSQL有什么区别数据存储不同，hive数据存储到hdfs上，用MR处理，mysql存储在磁盘上，可以把hive看成对hdfs上的数据处理的客户端工具，除了语言有一样的地方再无共同之处。三、hive元数据为啥要存在m
构建在Hadoop之上的数据仓库，数据计算使用MR，数据存储使用HDFS 由于数据计算使用mapreduce。因此通经常使用于进行离线数据处理Hive 定义了一种类 SQL 查询语言——HQL 类似SQL，但不全然同样可觉得是一个HQL-->MR的语言翻译器。简单，easy上手有了Hi
好久没有动博客了，今天有时间把前段时间问题的解决思路总结一下。欢迎一起讨论。
[b]应用端：[/b]
1.在多线程计算情况下汇总计算结果，必免不了要去重。比较常见的方法是重写hashCode和equals方法，其计算速度取决于hashCode方法的逻辑，需要根据业务逻辑，尽量使hashCode的值从不同的业务维度来累加。比如去重对象Object有四个
一、Hive背景介绍 Hive最初是Facebook为了满足对海量社交网络数据的管理和机器学习的需求而产生和发展的。马云在退休的时候说互联网现在进入了大数据时代，大数据是现在互联网的趋势，而hadoop就是大数据时代里的核心技术，但是hadoop的mapreduce操作专业性太强，所以facebook在这些基础上开发了hive框架，毕竟世界上会sql
大数据知识点全讲解之HiveHive简介Hive结构Hive与Hadoop的关系Hive安装Hive交互方式Hive数据类型Hive的基本数据类型Hive的复杂数据类型Hive元数据结构Hive和BeelineHive的基本操作数据库表操作内部表操作外部表操作分区表操作分桶表操作修改表结构 Hive简介Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供
转载
2023-07-12 20:01:38
59阅读
行文思路大数据组件来源Hive简介定义hive特点hive基本语法Hive原理 hive架构图hive内核hive底层存储hive程序执行过程hive元数据存储hive客户端Hive调优基于mapreduce优化 合理设置map数 合理设置reduce数hive架构层优化 不执行mapreduce 本地执行mapreduce JVM重用 并行化hiveQ
原创
2021-03-22 22:44:17
172阅读
