1、搭建环境部署节点操作系统为CentOS，防火墙和SElinux禁用，创建了一个shiyanlou用户并在系统根目录下创建/app目录，用于存放Hadoop等组件运行包。因为该目录用于安装hadoop等组件程序，用户对shiyanlou必须赋予rwx权限(一般做法是root用户在根目录下创建/app目录，并修改该目录拥有者为shiyanlou(chown –R shiyanlou:shiyanl
转载
2024-07-23 09:40:04
204阅读
[b][color=green][size=large]hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供完整的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓
转载
2024-09-10 20:54:07
65阅读
自序
这些都是笔者半年的结晶,现将其整理为博客，供各位网友参考。博客内容分为五个部分，如下：
Ubuntu物理机和虚拟机准备
ssh登录和jdk安装
Hadoop-2.6.0+zookeeper-3.4.6 集群搭建
Spark-1.3.1集群搭建
Hbase-1.1.0集群搭建
hive-1.2.0搭建
第一部分
1.order by col_list： 全局排序，默认为升序asc ,因此只有一个reducer,只有一个reduce task的结果， 比如文件名是000000_0,会导致当输入规模较大时，需要较长的计算时间。 如果指定了hive.mapred.mode=strict（默认值是nonstrict）,这时就必须指定li
转载
2023-09-15 09:53:27
53阅读
1.ubuntu使用虚拟机，即使出错也不会影响其他。2.python在ubuntu已经自带，但是要重新更新为python3，并且默认使用python3.谷歌一下有相关教程。java得安装一下。提高python3优先级直接执行这两个命令即可：sudo update-alternatives --install /usr/bin/python python /usr/bin/python2
## 使用Hive创建HBase表流程
为了帮助你实现在Hive中创建HBase表，我将提供一个简单的步骤指南。下面是整个流程的概览：
| 步骤 | 动作 |
|---|---|
| 步骤 1 | 创建HBase表 |
| 步骤 2 | 创建Hive表 |
| 步骤 3 | 将HBase表与Hive表关联 |
接下来，我将逐步指导你完成每个步骤，并提供相应的代码示例。
### 步骤 1：创
原创
2024-02-06 11:04:49
39阅读
Hive基于HADOOP来执行分布式程序的，和普通单机程序不同的一个特点就是最终的数据会产生多个子文件，每个reducer节点都会处理partition给自己的那份数据产生结果文件，这导致了在HADOOP环境下很难对数据进行全局排序，如果在HADOOP上进行order by全排序，会导致所有的数据集中在一台reducer节点上，然后进行排序，这样很可能会超过单个节点的磁盘和内存存储能力导致任务失败
转载
2023-08-05 13:20:17
176阅读
创建部门表create table if not exists dept(deptno int,dname string,loc int)row format delimited fields terminated by '\t';创建员工表create table if not exists
原创
2021-04-25 22:59:05
243阅读
软件环境:linux系统: CentOS6.7
Hadoop版本: 2.6.5
zookeeper版本: 3.4.8主机配置:一共m1, m2, m3这五部机, 每部主机的用户名都为centos192.168.179.201: m1
192.168.179.202: m2
192.168.179.203: m3
m1: Zookeeper, Namenode, DataNode, Reso
转载
2024-07-18 14:40:14
699阅读
# Hive4 使用的 MySQL 版本
在大数据处理领域，Apache Hive 是一个重要的工具，它允许用户使用类 SQL 的查询语言来处理存储在 Hadoop HDFS 中的数据。在 Hive 的最新版本中，Hive4 采用了 MySQL 作为其元数据库。这意味着 Hive 需要使用 MySQL 数据库来存储其元数据信息，例如表的结构、分区信息和其他相关数据。
## Hive4 的架构
原创
2024-09-26 08:12:59
139阅读
第9章 企业级调优9.1 Fetch抓取Fetch抓取是指，Hive中对某些情况的查询可以不必使用MapReduce计算。例如：SELECT * FROM employees;在这种情况下，Hive可以简单地读取employee对应的存储目录下的文件，然后输出查询结果到控制台。在hive-default.xml.template文件中hive.fetch.task.conversion默认是mor
转载
2024-08-12 20:56:04
155阅读
转载
2024-01-08 16:58:28
256阅读
1.什么是Hive? Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能。 好处： 操作接口采用类SQL语法，提供快速开发的能力。 避免了去写MapReduce，减少开发人员的学习成本。 扩展功能很方便。Hive的特点
目录1.前言2.order by3.sort by4.distribute by5.Cluster By6.实际需求 1.前言hive中的四个by分别为order by，sort by，distribute by，cluster by； 下面具体讲解：2.order by全局排序，只有一个reduce； 缺点：当数据量非常大时，耗时太长，效率低下，适用于数据量较小的场景； 优点：数据全局排序；s
转载
2023-07-12 21:34:28
139阅读
任务描述:本环节需要使用 root 用户完成相关配置，已安装 Hadoop 及MySQL（MariaDB）需要配置前置环境，具体部署要求如下：1. 解压Hive安装包到“/opt/”路径 2. 设置Hive环境变量 3. 新建并配置hive-site.xml文件，实现Hive元数据存储位置为MySQL（MariaDB）数 据库 4. 初始化Hive元数据（将MySQL JDBC驱动拷贝到Hive安
转载
2023-09-16 16:55:54
184阅读
1.hive的四大by1.1order by（全局排序）只有一个reduce，这里无论你设置多少个reduce，都是一个优点：全局排序缺点：当数据量大的时候，耗时长，效率低，适用于较小数据量的场景1.2sort by（分区内排序）对每一个reduce内部的数据进行排序，全局结果来说不是排序的只能保证每一个reduce输出的文件中的数据是按照规定字段排序的适用于数据量大，但是对排序要求不严格的场景，
转载
2023-07-04 14:34:42
125阅读
# Docker搭建Hive
## 引言
Hive是建立在Hadoop之上的数据仓库基础架构，它提供了类SQL的查询语言，可以让开发者进行数据分析和处理。使用Docker搭建Hive可以方便地创建和管理Hive环境，提高开发效率。本文将介绍如何使用Docker搭建Hive环境，并帮助你快速上手。
## 准备工作
在开始之前，你需要确保已经安装了Docker和Docker Compose。如果你
原创
2023-09-28 23:28:15
295阅读
# 搭建Hive Docker
在数据处理领域，Hive 是一种开源的数据仓库工具，它可以方便地处理大规模数据集。而 Docker 是一种轻量级的容器化技术，使得我们可以更加便捷地部署和管理应用程序。本文将介绍如何搭建一个运行 Hive 的 Docker 容器。
## 第一步：准备Docker环境
首先，我们需要安装 Docker。可以根据官方文档 [Docker官方文档]( 进行安装。
原创
2024-07-14 04:32:23
46阅读
1.hive简介2.安装hive2.1 环境准备2.1.1 下载安装包2.1.2 设置hive用户的环境变量2.1.3 hive服务端配置文件2.1.4 hive客户端配置文件2.1.4 分发hive配置文件2.2 启动hive2.2.1 初始化数据库2.2.2 创建HDFS目录2.2.3 启动hive3.总结getting start: https://cwiki.apache.org/con
转载
2023-11-26 15:23:35
613阅读
Harbor 是一个基于 Apache 协议的开源软件，主要开发语言为 Go。Harbor 是由 VMware 公司开源的企业级的Docker Registry 管理项目，它包括权限管理(RBAC)、LDAP、日志审核、管理界面、自我注册、镜像复制和中文支持等功能，具有 web 管理功能。Docker 容器应用的开发和运行离不开可靠的镜像管理，虽然 Docker 官方也提供了公共的镜像仓库，但是从
转载
2023-07-21 17:01:17
52阅读
