CDH-5.7.1离线安装
1、文件下载 CDH (Cloudera’s Distribution, including Apache Hadoop)，是Hadoop众多分支中的一种，由Cloudera维护，基于稳定版本的Apache Hadoop构建，并集成了很多补丁，可直接用于生产环境。 Cloudera Manager则是为了便于在集群中进行Hadoop等大
CDH 安装市场上免费大数据框架主要有三个版本，原生的 Apache 版本，Cloudera(https://www.cloudera.com/) 公司研发的（Cloudera Distribution Hadoop，简称“CDH”）CDH 版本，也是市场上使用最多的，Hortonworks 版本（Hortonworks Data Platform，简称“HDP”）cm-cloudera mana
转载
2024-08-03 16:01:28
67阅读
1、首先解压TASS.International.PreScan.8.3.0.Win64-SSQ到当前目录下 2、以管理员身份运行PreScan-8.3.0-win64-830，解压后获得安装包和补丁文件 3.点next继续 4、接受协议，点next 4.选择安装目录，点next，安装目录可根据自身实际选择其他盘，并非一定需要安装在C盘， 5.默认连续点next 6.选择安装类型，第一个是依托于M
转载
2024-03-01 15:56:57
52阅读
安装前的准备工作配置主机名、hosts、开启PermitRootLogin、设置密码 、做免密 、java环境变量、时间同步安装过程概述（Ubuntu18.04安装）(centos7离线安装参考)http://ro-bucharest-repo.bigstepcloud.com/cloudera-repos/cm6/redhat/7/x86_64/cm/6.2.0/RPMS/x86_64/(免费的
转载
2024-05-12 18:09:44
164阅读
昨天晚上刚刚配置好了3台主机的集群，想着把集群的配置过程详细的记录下来，以备不时之需，就顺便把cdh-Hadoop伪分布式安装教程也详细记录下来。在没有深入接触大数据之前，我也不知道cdh和Apache的Hadoop有什么区别。但是随着不断的深入，慢慢的了解到cdh的好处，cdh版本的Hadoop会帮我们编译好Hadoop。例如当我们学习到hive，flume，sqoop……时，如果用的是Apac
转载
2024-10-12 11:35:56
16阅读
cdh集群安装1、 配置主机 vim/etc/hosts (hadoop1,hadoop2,hadoop3)代表在3台机器执行操作192.168.157.128hadoop1192.168.157.129hadoop2192.168.157.130 hadoop32、 关闭防火墙 (所有机器)chkconfig iptables off3、 
转载
2024-03-18 15:23:42
48阅读
Delta Lake 0.5 增加了不少新特性，这篇文章主要讲解其 Presto Integration 和 Manifests 机制。该功能与我们之前平台化 Delta Lake 实践（离线篇) 的很多工作都较为相似，比如与 metastore 的集成，直接通过 manifest 读取 delta 存活文件等。在 0.5 之前的版本中只支持通过 Spark 读取数据，在新版本中增加了其他处理引擎
转载
2024-09-20 08:49:10
24阅读
简介我们在上篇文章中已经了解了CDH，为了后续的学习，我们本章就来安装CDH5.8。CDH5.8是目前比较新的版本，自带hadoop2.0以上的hadoop，而且已经包含了很多组件，也是我们接下来需要学习的hadoop生态圈中的组件。 环境Cloudera Manager是为了简化hadoop及其组件的部署，但是由于包含的组件较多，对内存要求也比较大。所以我们尽量
文章目录1.搭建步骤1.1 hosts 配置（所有主机）1.2 配置 SSH 免密（manager.cdp）1.3 关闭 Selinux（所有主机）1.4 关闭防火墙（所有主机）1.5 安装 ntpd 服务（所有主机）1.6 设置swap（所有主机）1.7 关闭透明大页（所有主机）1.8 设置 limits（所有主机）1.9 安装MySQL（manager.cdp）1.9.1 启动并配置MySQ
转载
2024-05-24 21:07:20
43阅读
0.绪论之前完全没有接触过大数据相关的东西，都是书上啊，媒体上各种吹嘘啊，我对大数据，集群啊，分布式计算等等概念真是高山仰止，充满了仰望之情，觉得这些东西是这样的：当我搭建的过程中，发现这些东西是这样的：对于初学者来说，我认为缺点如下：1.需要控制，配置的东西太多，并且配置对应并不是很清晰（以后优化集群是否会有很高含金量？）2.整个集群，我觉的从硬件到软件整体来说还是稳定性有待提高，
CDH-5.13.1完全离线安装前不久实施的一个项目，机房环境无法访问外部网络，无奈只能离线部署安装准备安装环境系统vCPU内存/GB系统盘/GB数据盘/GBJDKCDHPrestoCentOS-7.4163260GB500GBjdk1.8.0_2615.13.10.216集群规划IP主机名角色10.0.0.1cdh01master10.0.0.2cdh02core10.0.0.3cdh03cor
转载
2023-10-08 14:23:52
91阅读
文章目录CDH 6.3.2集群安装部署一 CDH概要1.1 CDH的背景1.2 CDH介绍二 环境准备2.1 安装部署环境2.2 部署规划2.3 服务器主机映射2.4 服务器免登录配置2.5 防火墙关闭2.6 关闭Selinux2.7 设置最大打开文件2.8 关闭最大透明页面压缩2.9 设置Swappiness空间2.10 安装JDK2.11 MySQL安装部署2.11.1 MySQL5.7.2
转载
2024-04-25 16:09:18
199阅读
1、CDH的介绍1.1 CDH是什么？hadoop是一个开源项目，所以很多公司在这个基础进行商业化，Cloudera对hadoop做了相应的改变。Cloudera公司的发行版，我们将该版本称为CDH（Cloudera Distribution Hadoop）。截至目前为止，CDH共有5个版本，其中，前两个已经不再更新，最近的两个，分别是CDH4在Apache Hadoop 2.0.0版本基础上演化
转载
2024-07-22 10:46:16
31阅读
Hadoop是一个复杂的系统组合，搭建一个用于生产的Hadoop环境是一件非常麻烦的事情。但这个世界上总有一些牛人会帮你解决一些看似痛苦的问题，如果现在没有，那也是早晚的事。CDH是Cloudera旗下的Hadoop套装环境，CDH的相关介绍请各位亲自己查阅www.cloudera.com，我就不再多说了。这里主要是介绍使用CDH5.3安装一个可以用于生产的Hadoop环境。虽然人家Clouder
转载
2024-03-29 07:07:37
20阅读
CDH 5.16.1集群环境搭建集群节点192.168.10.1 hadoop01 235G+4T192.168.10.2 hadoop02 235G+4T192.168.10.3 hadoop03 235G+4T192.168.10.4 hadoop04 235G+4T集群节点初始化1.配置节点hosts192.168.10.1 hadoop01.office.gdapi.net h
转载
2024-08-17 16:09:40
115阅读
目录一、准备工作1、下载安装包2、角色说明二、解压等相关操作三、准备Presto的配置文件四、Presto服务的启动和停止五、Presto集成Hive六、测试一、准备工作1、下载安装包 我们使用的安装包是presto-server-0.230.tar.gz，链接路径为：https://repo1.maven.org/maven2/c
转载
2023-08-07 14:49:20
103阅读
PRESTO安装配置PRESTO server 下载地址:https://repo1.maven.org/maven2/com/facebook/presto/presto-server/0.212/presto-server-0.212.tar.gzPRESTO client 下载地址:https://repo1.maven.org/maven2/com/facebook/presto/pres
转载
2024-04-30 06:41:25
107阅读
C 基础: Preprocessor 预处理器 文章目录C 基础: Preprocessor 预处理器简介参考正文什么是预处理？主要功能文件引入宏定义条件编译应用确保唯一引入头文件特定运行模式全局变量声明结语 简介C 语言是一个古老却又屹立不摇的高级语言，它在计算机世界拥有不可动摇的地位。C/C++ 语言源文件生成可执行文件的大致过程如下：本篇将要来介绍在预处理(C-Preprocessor)阶段
转载
2024-03-22 08:41:22
15阅读
本篇文章Fayson主要介绍如何在CDH集群部署Presto并与Hive集成。
原创
2022-09-21 23:14:55
434阅读
1、主节点重启后，启动server，发现监控、图标全部没数据
主节点的cm server启动了，并没有启动到agent，因此也要把主节点的agent启动
2、清除pheonix软件后，启动HBASE报缺pheonix的class类 把hbase中的SYSTEM.CATALOG与SYSTEM.QUXXX两个表删掉，因为这两个表是由pheonix创建的，需要用到pheonix相关的
