目录一、准备工作1、下载安装包2、角色说明二、解压等相关操作三、准备Presto的配置文件四、Presto服务的启动和停止五、Presto集成Hive六、测试一、准备工作1、下载安装包 我们使用的安装包是presto-server-0.230.tar.gz，链接路径为：https://repo1.maven.org/maven2/c
转载
2023-08-07 14:49:20
103阅读
Hadoop是一个复杂的系统组合，搭建一个用于生产的Hadoop环境是一件非常麻烦的事情。但这个世界上总有一些牛人会帮你解决一些看似痛苦的问题，如果现在没有，那也是早晚的事。CDH是Cloudera旗下的Hadoop套装环境，CDH的相关介绍请各位亲自己查阅www.cloudera.com，我就不再多说了。这里主要是介绍使用CDH5.3安装一个可以用于生产的Hadoop环境。虽然人家Clouder
转载
2024-03-29 07:07:37
20阅读
文章目录1.搭建步骤1.1 hosts 配置（所有主机）1.2 配置 SSH 免密（manager.cdp）1.3 关闭 Selinux（所有主机）1.4 关闭防火墙（所有主机）1.5 安装 ntpd 服务（所有主机）1.6 设置swap（所有主机）1.7 关闭透明大页（所有主机）1.8 设置 limits（所有主机）1.9 安装MySQL（manager.cdp）1.9.1 启动并配置MySQ
转载
2024-05-24 21:07:20
43阅读
一、开发环境中需要安装和配置如下安装JDK，配置JDK环境变量(jdk1.8)安装Scala，配置JDK环境变量(scala2.11.8)最好安装一个Maven,虽然Idea已经集成自带的有Maven测试环境中已经安装有Zookeeper集群，Kafka需要用到（3.4.5）测试环境中已经安装有Kafka集群（1.1.0）测试环境中已经安装有Spark集群（2.1.2） 二、
转载
2024-06-26 07:59:06
21阅读
# CDH6 升级 Spark 的详解
在大数据环境中，Apache Spark 是一个广泛使用的数据处理引擎。随着时间的推移，Spark 不断更新迭代，提供更好的性能和新特性。而 Cloudera 的 CDH（Cloudera's Distribution including Apache Hadoop）6 版本集成了 Spark，因此在使用 CDH6 时，确保 Spark 是最新版本是至关重
# CDH6 Hive 升级指南
作为一名初入行的开发者，你可能会面临许多挑战，其中之一就是如何升级你的 Hive 版本。在本篇文章中，我们将详细阐述在 CDH6 中如何进行 Hive 升级的流程，并提供每个步骤下的代码和注释。希望能够帮助你更好地理解和完成这个任务。
## 升级流程
在升级 Hive 之前，首先要了解整体的升级流程。下面的表格展示了升级 Hive 的主要步骤：
| 步骤
原创
2024-10-14 06:56:30
95阅读
# CDH6 Yarn调度实现指南
作为一名刚入行的开发者，你可能对CDH6 Yarn调度还不太熟悉。不要担心，这篇文章将带你一步步了解如何实现CDH6 Yarn调度。首先，我们来了解一下整个流程。
## 流程概览
以下是实现CDH6 Yarn调度的步骤：
| 步骤 | 描述 |
| --- | --- |
| 1 | 安装CDH6 |
| 2 | 配置Yarn |
| 3 | 启动Yar
原创
2024-07-19 08:36:41
32阅读
此方法不成功，可能是要这样安装：不用解压三个iso文件，提取出来dosutils文件夹的所有东东，和iso文件一起放到跟目录下，其余基本按照下面步骤（还未测试安装）！ 查了一些资料，然后开始从硬盘安装linux，在这里做一些重点记录。 首先把下载的iso文件解压到硬盘，并且暂时命名为cd1，cd2，cd3，一般redhat linux是三个iso^_^。
首先准备1个jar然后保证他丢到服务器，能用spark-submit /sparkTest.jar跑。首先你得有oozie和hue，安装好了，才行下面是jar在hue的oozie中的应用切换文档为操作action将那个星星，也就是spark程序，托过来然后上传你的spark.jar到hdfs上，因为他只能读取hdfs的jar打开一台机器hadoop fs -mkdir /sparkNewshado
转载
2023-09-23 07:43:37
107阅读
Presto是Facebook开源出来的一个分布式SQL查询引擎，用于查询分布在一个或多个不同数据源中的大数据集。Presto是一款专为使用分布式查询而高效查询海量数据的工具，处理PB级数据。1. 环境准备jdk,cdh集群安装(省略，需要可以参考我写的CDH集群安装文档)2.下载presto安装包，https://prestodb.io/docs/current/installation/dep
Lzo是目前Hadoop平台使用很广泛的压缩格式，但需要另外安装，在这里记录一下。使用的版本是Centos7.3，CDH6.0.1。官方安装文档官方配置文档查看Hadoop支持的压缩格式hadoop checknativeLzoCodec和LzopCodec区别两种压缩编码LzoCodec和LzopCodec区别： 1. LzoCodec比...
原创
2021-08-31 16:50:25
565阅读
# 使用CDH6配置Hive密码的详细流程
作为一名新手开发者，理解如何在Cloudera的CDH6环境中为Hive设置密码是至关重要的一步。下面我将为你详细讲解实现这一功能的步骤，以及每一步所需执行的代码。
## 整体流程
以下表格清晰地描述了整个流程：
| 步骤 | 描述 |
|------|---------------------
# 在 CDH6 上安装 Python 的完整指南
作为一名刚入行的小白，你可能会觉得在 CDH（Cloudera Distribution for Hadoop）上安装 Python 看起来有些复杂。不过，别担心，我会逐步指导你完成整个过程。
## 流程概述
下面是安装 Python 的流程概述，分为多个步骤。你可以参考这个流程图和表格来理解各个步骤。
### 流程图
```merma
# CDH6 HivePom版本详解
Apache Hive 是一个建立在 Hadoop 之上的数据仓库工具，用于提供数据摘要、查询和分析。CDH（Cloudera Distribution Including Apache Hadoop）是 Cloudera 提供的 Hadoop 发行版，支持大数据处理。 HivePom 是 Hive 的一种版本标识，紧密集成了 Maven 以便于构建和管理
原创
2024-09-07 04:21:34
37阅读
### 安装和配置HBase on CDH6
Apache HBase是一个分布式、可扩展、面向列的NoSQL数据库，旨在处理大规模数据集。在Cloudera Distribution of Hadoop (CDH) 6中，HBase是一个非常受欢迎的组件，用于存储和管理大量结构化数据。本文将介绍如何在CDH6环境中安装和配置HBase。
#### 步骤1：准备工作
在开始安装HBase之前
原创
2024-03-09 05:42:34
108阅读
一、 概述该文档主要记录大数据平台的搭建CDH版的部署过程，以供后续部署环境提供技术参考。1.1 主流大数据部署方法目前主流的hadoop平台部署方法主要有以下三种:Apache hadoopCDH (Cloudera’s Distribution Including Apache Hadoop)HDP (Hortonworks Data Platform)1.2 部署方法的比较手工部署: 需要配
转载
2024-05-27 16:28:36
148阅读
# CDH6 Spark配置教程
## 1. 整体流程
下面是配置CDH6上的Spark的步骤：
| 步骤 | 内容 |
| --- | --- |
| 1 | 下载Spark |
| 2 | 安装Spark |
| 3 | 配置Spark环境变量 |
| 4 | 启动Spark |
## 2. 具体步骤
### 步骤1：下载Spark
首先，你需要下载Spark安装包，可以在官方网站
原创
2024-04-10 03:49:15
72阅读
# 安装Spark on CDH6
Apache Spark is a powerful open-source distributed computing system that provides fast and general-purpose data processing capabilities. Cloudera Distribution for Hadoop (CDH) is a
原创
2024-05-31 04:38:55
53阅读
安装sentry服务在cloudera manager web页面上选中集群下的action按钮，然后点击add service，在列表中选择sentry服务，并按照向导操作即可。sentry的运行需要使用mysql，在安装cdh的那篇文章中的步骤已经包含了创建sentry服务的步骤，所以，直接就有一个sentry数据库，直接使用即可，用户名和密码是sentry/sentry_password。&
转载
2024-07-09 20:58:04
90阅读
1. 编译Tez框架环境准备Replace x.y.z with the tez release number that you are using. E.g. 0.5.0. For Tez versions 0.8.3 and higher, Tez needs Apache Hadoop to be of version 2.6.0 or higher. For Tez version 0.9
