文章目录前言一、Hive安装包下载二、Hive的安装三、mysql驱动配置四、Hive配置文件修改1.修改hive-env.sh2.修改默认日志存放路径3.使用mysql数据库为默认元数据库五、启动Hive1.在HDFS上创建目录2.启动hive 前言提示：在开始之前请先确保你已经进行了Hadoop环境搭建，详情请见CDH5.3.6下搭建hadoop伪分布式环境教程！一、Hive安装包下载进入c
转载
2023-07-04 11:08:51
255阅读
关于CDH和Cloudera ManagerCDH (Cloudera's Distribution, including Apache Hadoop)，是Hadoop众多分支中的一种，由Cloudera维护，基于稳定版本的Apache Hadoop构建，并集成了很多补丁，可直接用于生产环境。Cloudera Manager则是为了便于在集群中进行Hadoop等大数据处理相关的服务安装和监控管理的
转载
2023-08-03 14:48:42
305阅读
Hive on Spark配置Hive引擎默认的是MapReduce，就是没执行一个Hive语句，其实都是运行了一个MR程序，都知道的，MR虽好，但是慢呢。所以在时代的驱使下，就出现了把Hive的引擎更换的需要，通常Hive的引擎还有tez、Spark。我们经常听到Hive on Spark和Spark on Hive，不明所以的小伙伴还会以为这两个是倒装句，其实不然，Hive on Spark
转载
2023-07-04 09:53:59
221阅读
HIVE ON SPARK配置CDH6.3.2的HIVE版本为：2.1.1+cdh6.3.2HIVE默认引擎 hive.execution.engine
Driver配置spark.driver配置名称说明建议spark.driver.memory用于Driver进程的内存YARN可分配总内存的10%spark.driver.memoryOverhead集群模式下每个Driver进程的
转载
2023-08-31 20:33:40
142阅读
Hive体系结构Hive有2个服务端守护进程：Hiveserver2：支撑JDBC访问，Thrift服务。MetaStore Server：支撑访问元数据库的服务。Hive内核结构Complier：编译器，编译hql语法。Optimizer：优化hql代码，产生最优执行计划。通过explain select …查看执行计划。Executor：执行最终转化的类(MRjob)。Hive用户接口用户接口
转载
2023-07-04 09:46:29
174阅读
一、虚拟机单机环境配置准备工作首先在PC机里面安装好VMWare，xshell，xftp确保电脑的虚拟化技术已开启，Virtualization Technology（VT），中文译为虚拟化技术，英特尔（Intel）和AMD的大部分CPU均支持此技术，名称分别为VT-x、AMD-V。进入BIOS可以查看。然后打开VMWare软件 cdh虚拟机配置 cdh1cdh2c
转载
2024-01-18 23:52:36
109阅读
1.组网配置 建议的Cloudera组网配置如下图,主要包含数据网络和管理网络。 2.数据网络 数据网络是用于数据访问的节点之间的私有集群数据互连，比如在集群内的节点之间移动数据，或者将数据导入CDH集群.CDH集群通常会连接到企业内部的数据网络。 需要两个TOR交换机:一个用作带外管理，一个用于CDH的数据网络。节点的带外管理至少需要一个1GbE交换机。数据网络的交换机一般为10GbE，具体取决
转载
2024-04-23 19:40:15
19阅读
基于CDH版本5.13.3实现Spark集群1. 安装背景由于部门及已上项目使用的是CDH版本大数据平台，为了充分更好使用Spark集群Spark引擎运算，解决基于CDH版本下可支持3种大数据运算分析方式Hive on MR、Hive on Spark和Spark Sql。2. 安装
转载
2023-09-15 12:01:47
148阅读
大家好，我是小轩最近比较忙，想整理的比较多，从这篇开始吧！如果需要可以关注。硬件配置需求1、所需硬件服务器（台式机）4台路由器1台，千兆。显示器1台键盘鼠标1套网线5条接线板1个2、服务器硬件配置内存：16GCPU：4核硬盘：500Gb网卡：千兆网卡1个USB接口：可使用3、操作系统1台Windows 103台Linux Centos 74、软件配置所需软件：window 10，centos 7，
转载
2024-04-17 20:39:40
170阅读
配置要求如下： Hadoop 2.x 部署 * Local Mode * Distributed Mode * 伪分布式 一台机器，运
转载
2024-02-03 10:14:34
38阅读
简介本文主要记录如何安装配置Hive on Spark，在执行以下步骤之前，请先确保已经安装Hadoop集群，Hive，MySQL，JDK，Scala，具体安装步骤不再赘述。背景Hive默认使用MapReduce作为执行引擎，即Hive on mr。实际上，Hive还可以使用Tez和Spark作为其执行引擎，分别为Hive on Tez和Hive on Spark。由于MapReduce中间计算均
转载
2023-07-04 14:16:54
141阅读
CDH(Cloudera’s Distribution, including Apache Hadoop)，是Hadoop众多分支中的一种，由Cloudera维护，基于稳定版本的Apache Hadoop构建，并集成了很多补丁，可直接用于生产环境。CDH优点：1、提供基于web的用户界面，操作方便 2、集成的组件丰富，不需要担心版本问题 3、搭建容易，运维比原生hadoop方便CDH分为Cloud
转载
2023-07-04 14:15:38
186阅读
hive集群配置 hive on spark标签（空格分隔）： hive##HiveServer2的高可用-HA配置HiveServer2的高可用-HA配置##hive on spark基于Spark 2.0.0搭建Hive on Spark环境官方文档###编译sparkhive on spark要求spark编译时不集成hive，编辑命令如下，需要安装maven，命令中hadoop版本根据实际
转载
2023-07-04 14:12:31
226阅读
**cdh搭建** 准备工作：相关安装包 创建虚拟机，安装CenOS7的镜象文件，主机要不低于8G，两个子机不低于3G，因为内存小了安装的集群可能没法使用。这里以两台为例。一、基础配置1.配置网络：采用Nat方式联互联网。 2. vim /etc/sysconfig/network-scripts/ifcfg-*ens33*（enss33为自己的网卡名称，我的就是ens33）修改以下配置ONBOO
spark安装需要选择源码编译方式进行安装部署，cdh5.10.0提供默认的二进制安装包存在未知问题，如果直接下载spark二进制安装文件，配置完成后会发现启动spark及相关使用均会报错。 编译spark需要联网，spark使用scala语言编写，所以运行spark需要scala语言，上一步已经安装了scala，scala使用java编写，所以安装scala需要jdk支持，上文已经安装了jdk环
# 实现CDH Hive用户配置教程
## 一、整体流程
```mermaid
pie
title CDH Hive用户配置流程
"创建用户" : 20
"配置权限" : 30
"测试权限" : 20
"完成" : 30
```
## 二、详细步骤
```mermaid
flowchart TD
创建用户 --> 配置权限 --> 测试权限 -
原创
2024-02-28 05:53:53
47阅读
CDH 配置Hive集群是一个涉及多个步骤的工作，本文将以轻松的语气详细记录这个过程，帮助大家更好地理解和实施相关的配置。
## 环境准备
在开始配置之前，需要注意一些软硬件要求。
| 软硬件要求 | 描述 |
| ------ | -------- |
| 操作系统 | CentOS 7 或 Ubuntu 18.04 |
| 内存 | 至少 8GB RAM |
| CPU | 至少 4 核
# 配置 Hive Metastore 的步骤指南
在使用 CDH (Cloudera Distribution including Apache Hadoop) 的过程中，配置 Hive Metastore 是一个关键步骤。Hive Metastore 是 Hive 的存储层，负责存储表和分区的元数据。下面将详细介绍配置 Hive Metastore 的流程，并为您提供必要的代码和注释。
#
CDH6.2.1 环境1、开启hive on spark配置：在hive配置中搜索 spark ，更改一下配置：YARN 服务上的 Spark 选择spark默认执行引擎 hive.execution.engine ：spark执行程序初始数 spark.dynamicAllocation.initialExecutors ：2 ，启动sparksession时，默认初始启动的executor个数
转载
2023-11-22 22:00:47
94阅读
Hive默认使用的计算框架是MapReduce，在我们使用Hive的时候通过写SQL语句，Hive会自动将SQL语句转化成MapReduce作业去执行，但是MapReduce的执行速度远差与Spark。通过搭建一个Hive On Spark可以修改Hive底层的计算引擎，将MapReduce替换成Spark，从而大幅度提升计算速度。接下来就如何搭建Hive On Spark展开描述
转载
2023-08-31 20:32:03
323阅读
