本文主要记录手动安装Cloudera Hive集群过程，环境设置及Hadoop安装过程见手动安装Cloudera Hadoop CDH,参考这篇文章，hadoop各个组件和jdk版本如下： hadoop-2.0.0-cdh4.6.0
hbase-0.94.15-cdh4.6.0
hive-0.10.0-cdh4.6.0
jdk1.6.0_38 hadoop各组件可以在这里下载。集群规划为
转载
2024-10-11 10:22:18
86阅读
# 如何在CDH中更改Hive的默认执行引擎
## 概述
在Cloudera的CDH（Cloudera Distribution for Hadoop）环境中，Hive是一个数据数据仓库基础设施，允许用户使用类SQL语言查询大数据。默认情况下，Hive使用的是MapReduce执行引擎。然而，随着技术的发展，Spark等新的执行引擎逐渐被广泛接受，因此许多用户希望能够更改Hive的默认执行引擎
# 如何在CDH上更改MySQL密码
作为一名经验丰富的开发者，你需要教导一位刚入行的小白如何在CDH上更改MySQL密码。以下是整个过程的步骤以及每个步骤需要执行的操作和代码。
## 过程步骤
首先，让我们来看一下这个过程的步骤：
| 步骤 | 操作 |
| ---- | ---- |
| 步骤一 | 登录到CDH上的MySQL数据库 |
| 步骤二 | 更改MySQL密码 |
| 步骤
原创
2024-04-04 05:32:17
41阅读
文章目录前言一、Hive安装包下载二、Hive的安装三、mysql驱动配置四、Hive配置文件修改1.修改hive-env.sh2.修改默认日志存放路径3.使用mysql数据库为默认元数据库五、启动Hive1.在HDFS上创建目录2.启动hive 前言提示：在开始之前请先确保你已经进行了Hadoop环境搭建，详情请见CDH5.3.6下搭建hadoop伪分布式环境教程！一、Hive安装包下载进入c
转载
2023-07-04 11:08:51
255阅读
一、Hive的基本理论 Hive是在HDFS之上的架构，Hive中含有其自身的组件，解释器、编译器、执行器、优化器。解释器用于对脚本进行解释，编译器是对高级语言代码进行编译，执行器是对java代码的执行，优化器是在执行过程中进行优化。这里的代码就是Hadoop中的MapReduce，这里的MapReduce通过Hive往HDFS上执行、分析、查询数据。 上图展示hql的执行过程，一
转载
2023-07-04 14:29:47
136阅读
一、简介hive是基于hadoop的一种数据仓库工具，可以将结构化的文件映射成为数据库的一张表，并提供简单sql查询功能，底层实现是转化为MapReduce任务计算。二、安装（1）下载从cdh下载页下载http://archive.cloudera.com/cdh5/cdh/5/hive-1.1.0-cdh5.11.1.tar.gz下载好后上传至服务器的/home/hadoop/software，
转载
2023-07-08 15:58:15
123阅读
关于CDH和Cloudera ManagerCDH (Cloudera's Distribution, including Apache Hadoop)，是Hadoop众多分支中的一种，由Cloudera维护，基于稳定版本的Apache Hadoop构建，并集成了很多补丁，可直接用于生产环境。Cloudera Manager则是为了便于在集群中进行Hadoop等大数据处理相关的服务安装和监控管理的
转载
2023-08-03 14:48:42
309阅读
Hive JDBC连接hive（2.1.1）（java）
转载
2023-05-21 15:06:58
163阅读
1.背景Hive是建立在Hadoop之上的数据仓库基础构架、是为了减少MapReduce编写工作的批处理系统，Hive本身不存储和计算数据，它完全依赖于HDFS和MapReduce。Hive可以理解为一个客户端工具，将我们的sql操作转换为相应的MapReduce jobs，然后在Hadoop上面运行。 HBase全称为Hadoop Database，即HBase是Hadoop的数据库，是一个分布
转载
2023-08-28 13:32:08
122阅读
实现CDH Hive的流程和步骤
作为一名经验丰富的开发者，让我们来教一位刚入行的小白如何实现"CDH Hive"。下面是整个流程的步骤概览：
| 步骤 | 描述 |
| --- | --- |
| 1 | 安装CDH |
| 2 | 安装Hive |
| 3 | 配置Hive |
| 4 | 启动Hive服务 |
| 5 | 使用Hive |
下面我们将详细介绍每个步骤需要做什么，并提供相
原创
2023-12-21 08:42:51
27阅读
现在大数据一直在使用CDH来作为基础平台。常会面临升级版本，操作中也经常出现各种各样的问题。 这里就整理一个操作步骤指引。1.先升级CM，大部分情况下都应该是离线升级的场景。所以要先从官方网站上下载需要升级版本的rpm包，放到自己搭建的yum源中。 官方地址：http://archive-primary.cloudera.com/cm5/redhat/6/x86_64/cm/ 切记，自建yu
转载
2023-11-16 15:53:34
90阅读
Hive体系结构Hive有2个服务端守护进程：Hiveserver2：支撑JDBC访问，Thrift服务。MetaStore Server：支撑访问元数据库的服务。Hive内核结构Complier：编译器，编译hql语法。Optimizer：优化hql代码，产生最优执行计划。通过explain select …查看执行计划。Executor：执行最终转化的类(MRjob)。Hive用户接口用户接口
转载
2023-07-04 09:46:29
174阅读
HIVE ON SPARK配置CDH6.3.2的HIVE版本为：2.1.1+cdh6.3.2HIVE默认引擎 hive.execution.engine
Driver配置spark.driver配置名称说明建议spark.driver.memory用于Driver进程的内存YARN可分配总内存的10%spark.driver.memoryOverhead集群模式下每个Driver进程的
转载
2023-08-31 20:33:40
142阅读
1、CDH简介大家认知度比较高的Hadoop项目一般指的是Apache的Hadoop，但是该项目版本比较复杂，兼容性也很差，一般没法直接用于生产。所以针对这个情况，衍生了几个比较著名的第三方版本(CDH、HDP、MapR)，核心内容还是基于原生的hadoop代码。但是相对于原生版，第三方的版本的版本管理清晰，兼容性好，有大量的生产项目实践经验，更有简单易用的部署方案，最后的监控管理也非常人性化，所
转载
2023-07-04 14:20:13
336阅读
1.组网配置 建议的Cloudera组网配置如下图,主要包含数据网络和管理网络。 2.数据网络 数据网络是用于数据访问的节点之间的私有集群数据互连，比如在集群内的节点之间移动数据，或者将数据导入CDH集群.CDH集群通常会连接到企业内部的数据网络。 需要两个TOR交换机:一个用作带外管理，一个用于CDH的数据网络。节点的带外管理至少需要一个1GbE交换机。数据网络的交换机一般为10GbE，具体取决
转载
2024-04-23 19:40:15
19阅读
本文旨在简单介绍Hive、Spark、Hadoop等在企业中的关系和使用场景。一、几个概念辨析大数据两个流程：离线数据的处理；实时流数据的处理；几个区分：Hive(数据仓库工具)、Scala(一种编程语言)、Spark(为大规模数据处理而设计的快速通用的计算引擎)、Hadoop(分布式系统基础架构)；一个集成方案：hadoop+spark+hive+mysql;hadoop提供HDF
转载
2024-06-18 08:03:57
23阅读
温馨提示：如果使用电脑查看图片不清晰，可以使用手机打开文章单击文中的图片放大查看高清原图。 文章编写目的Fayson在前面的《0459-如何使用SQuirreL通过JDBC连接CDH的Hive（方式一）》简单的介绍了SQuirreL SQL Client的安装、注册Hive Driver以及使用。前一篇文章中使用的JDBC驱动是Hive默认的，本篇文章Fayson使用Cloudera官网提供的Hi
转载
2024-08-05 11:06:53
22阅读
首先我是使用cloudera-manager安装的CDH5.4.1之后我运行了hive ,hbase shell,impala-shell都是好用的。接下来我试试用JAVA去访问hive ,impala服务首先是java链接impala但是要注意的是，你工程里要有hive的JDBC驱动，我把服务器的这个路径下hive开头的所有包都放到工程里了/opt/cloudera/parcels/CDH-5.
转载
2023-08-22 19:26:37
334阅读
一、虚拟机单机环境配置准备工作首先在PC机里面安装好VMWare，xshell，xftp确保电脑的虚拟化技术已开启，Virtualization Technology（VT），中文译为虚拟化技术，英特尔（Intel）和AMD的大部分CPU均支持此技术，名称分别为VT-x、AMD-V。进入BIOS可以查看。然后打开VMWare软件 cdh虚拟机配置 cdh1cdh2c
转载
2024-01-18 23:52:36
109阅读
CDH5.15安装指南
1.集群规划CDH (Cloudera's Distribution, including Apache Hadoop)，是Hadoop众多分支中的一种，由Cloudera维护，基于稳定版本的Apache Hadoop构建，并集成了很多补丁，可直接用于生产环境。Cloudera Manager则是为了便于在集群中进行Hadoop等大数据处理相关的服务安装和
转载
2024-02-27 20:21:17
68阅读
