CDH5.X 版本 hive1.x 与 hive2.x 并存使用(升级方案)1.Hive 2.3.9 下载解压安装至服务节点wget https://mirror.tuna.tsinghua.edu.cn/apache/hive/hive-2.3.9/apache-hive-2.3.9-bin.tar.gz
tar -zxvf apache-hive-2.3.9-bin.tar.gz
# 解压后
转载
2023-08-18 22:27:42
177阅读
一、下载安装包并解压
在官网下载最新版的hive包，apache-hive-3.1.3-bin.tar.gz,并进行解压
转载
2023-07-12 08:42:37
140阅读
spark默认会使用基于derby数据库存储元数据的hive，数据文件存储位置由spark.sql.warehouse.dir参数指定（默认为当前目录）。 比如当我们在/spark/目录下调用spark-shell，并且用Dataset的saveAsTable方法持久化一个表后。会发现在/spark目录下多出了：一个文件：derby.log，记录了derby数据库相关日志信息；一个目录：metas
转载
2023-08-24 19:25:45
184阅读
基于虚拟机搭建hdp集群,以下是我搭建集群的虚拟机环境说明一.环境预配置参照官网配置步骤:1. 配置hosts与主机名vim /etc/hosts
# 添加以下内容(三台)
192.168.127.121 hadoop121
192.168.127.122 hadoop122
192.168.127.123 hadoop123
设置主机名
hostnamectl set-hostname had
转载
2023-07-12 10:11:33
159阅读
1.感言 I/O是学习linux操作系统重要的一节，特别是想要对linux进行优化的时候，还有在生产环境中i/O也是判断系统稳定性的重要的性能指标。2.磁盘 如果要想搞懂io，我们必须要先搞懂磁盘(硬盘)，硬盘大家都知道就是存储数据的介质，我们可以将数据存储到里面，也可以将数据从磁盘(硬盘)里面取出，具体的磁盘结构这里我不再累述，想要知道的可以去读计算机组成原理，磁盘主要有两种：一种是HDD硬
# 如何实现HDP Hive授权
## 1. 流程图
```mermaid
flowchart TD
A(开始)
B(创建用户)
C(创建数据库)
D(授权数据库)
E(结束)
A --> B
B --> C
C --> D
D --> E
```
## 2. 具体步骤
### 步骤1：创建用户
```mar
原创
2024-06-20 06:10:49
59阅读
# 编译 HDP Hive 的入门指南
## 引言
在大数据生态系统中，Hive 是一个重要的数据仓库工具，它可以让我们用 SQL-like 的语言查询 Hadoop 存储的数据。如果你是刚入行的小白，想要了解如何编译 HDP (Hortonworks Data Platform) 中的 Hive，本文将为你详细讲解整个流程和代码示例。
## 整体流程
以下是编译 HDP Hive 的步骤
# 检测 HDP Hive 的实现指南
欢迎来到数据工程的世界！本文将带你一步步了解如何检测 HDP Hive。Hortonworks Data Platform（HDP）是一个开源软件平台，Hive 是其下的数据仓库系统。通过检测 Hive 的状态，可以确保你的大数据平台的正常运行。
## 检测 HDP Hive 流程概述
我们将这个流程分为几个步骤，并用表格展示每一步的具体动作。
|
原创
2024-09-19 06:01:10
36阅读
# HDP Hive LLAP：加速Hive查询的新选择
在大数据领域，Hive是一个非常流行的数据仓库解决方案，它提供了类似于SQL的查询语言来对存储在Hadoop中的大规模数据进行分析。然而，由于Hive基于MapReduce的架构在处理大规模数据时存在较大的延迟，因此查询速度往往不够快。为了解决这一问题，Hortonworks Data Platform（HDP）引入了Hive LLAP（
原创
2024-04-25 06:09:24
135阅读
Hadoop是一个大数据处理框架，而Hive则是Hadoop生态系统中的一个数据仓库工具，它可以将结构化的数据映射到Hadoop集群上的文件中，从而方便我们使用SQL语句进行数据查询和分析。本文将介绍如何在Hadoop集群中安装和配置Hive，并给出一些常用的Hive操作示例。
## 1. 安装Hive
在安装Hive之前，我们需要先安装Hadoop，并确保Hadoop正常运行。
1. 下载
原创
2023-11-23 07:00:23
136阅读
# HDP Spark 版本
## 引言
Apache Spark 是一个快速、通用、可扩展的大数据处理和分析引擎。它提供了一个简单且高效的方式来处理大规模数据集，并且可以在内存中进行迭代计算。HDP（Hortonworks Data Platform）是一个开源的大数据平台，提供了集成的Hadoop、Spark和其他大数据工具。本文将介绍HDP中的Spark版本，并提供代码示例来帮助读者更好
原创
2024-01-31 04:16:34
57阅读
如何实现HDP Hadoop版本
作为一名经验丰富的开发者，我将向你介绍如何实现HDP Hadoop版本。在开始之前，让我们先了解一下整个过程的流程。下面的表格将展示每个步骤和相关的操作。
| 步骤 | 操作 |
| --- | --- |
| 1 | 下载HDP Hadoop版本 |
| 2 | 安装HDP Hadoop版本 |
| 3 | 配置HDP Hadoop集群 |
| 4 | 启动
原创
2024-01-01 06:34:29
62阅读
常见版本不收费的Hadoop版本主要有三个（均是国外厂商），分别是：Apache（最原始的版本，所有发行版均基于这个版本进行改进）、Cloudera版本（Cloudera’s Distribution Including Apache Hadoop，简称CDH）、Hortonworks版本(Hortonworks Data Platform，简称“HDP”），对于国内而言，绝大多数选择CDH版本，
转载
2023-09-23 13:16:14
127阅读
# HDP 开启hive LLAP
在大数据领域，HDP（Hortonworks Data Platform）作为一款开源的大数据平台，提供了一系列的工具和服务来帮助用户管理和分析大规模数据。其中，Hive是HDP中一个非常常用的工具，用于处理结构化数据。而LLAP（Live Long and Process）是Hive的一项优化技术，用于加快查询速度，提高性能。
在本文中，我们将介绍如何在H
原创
2024-04-24 05:53:43
158阅读
对有志成为审计师或者IT管理者de朋友, 第一章. 信息系统审计过程 1. IS 审计和保障标准、指南、工具、职业道德规范 信息技术保证框架（ITAF，Information Technology Assurance Framework）l 审计准则：强制性要求ü 一般准则：基本的审计指
转载
2024-07-13 08:03:12
35阅读
Executor参数spark.executor.cores该参数表示每个Executor（任务） 可利用的CPU核心数。其值不宜设定过大，因为Hive的底层以HDFS存储，而HDFS有时对高并发写入处理不太好，容易造成race condition （竞争状态）。根据我们的实践，设定在3~6之间比较合理。 假设我们使用的服务器单节点有32个CPU核心可供使用。考虑到系统基础服务和HDFS等组件的余
转载
2024-09-29 11:20:20
29阅读
1）安装HDP时，如果打印如下错误信息：[SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed (_ssl.c:579)是由于系统的python版本过高，导致验证ssl失败，将python降级为2.7.5以下或修改每个安装节点的python证书验证配置文件，执行以下命令修改：$ sed -i 's/verify=platform_def
转载
2023-08-29 17:52:23
297阅读
在大数据生态系统中，Hortonworks Data Platform (HDP) 提供了丰富的工具集以支持数据处理、存储和分析。其中，HDP 中的 Hive 管理界面是用户与 Hive 交互的关键平台。本文将详细介绍如何解决“hdp hive管理界面”问题的全过程，涵盖环境预检、部署架构、安装过程、依赖管理、配置调优和迁移指南等方面。
## 环境预检
在部署 Hive 管理界面之前，首先需要
标题：如何配置HDP Hive Server
## 概述
本文将教你如何配置HDP Hive Server。HDP（Hortonworks Data Platform）是一个开源的Hadoop分发版本，Hive是其上的一个数据仓库基础设施。我们将按照以下步骤进行配置。
## 配置流程
下表展示了配置HDP Hive Server的步骤：
| 步骤 | 描述 |
| --- | --- |
原创
2024-01-25 11:45:33
130阅读
# HDP配置Hive on Spark
在Hadoop生态系统中，Hive是一种数据仓库工具，它提供了一种类似于SQL的语言来查询和分析大规模数据。而Spark是一个快速、通用的数据处理引擎，它提供了强大的数据处理能力和更快的执行速度。
在HDP中，Hive on Spark是一种集成了Hive和Spark的解决方案，它可以让用户在Hive中使用Spark作为计算引擎来执行查询和分析。本文将
原创
2024-02-24 04:12:13
95阅读
