尚硅谷大数据技术之Hadoop（入门） (作者：尚硅谷大数据研发部) 版本：V3.0 第1章 大数据概论1.1 大数据概念 1.2 大数据特点（4V） 1.3 大数据应用场景 1.4 大数据发展前景  
转载
2024-05-27 17:16:08
108阅读
# 深入了解 Hadoop CDH 版
Hadoop 是一种广泛使用的开源分布式计算框架，而 Cloudera 的 CDH（Cloudera Distribution including Apache Hadoop）版本在企业级应用中享有声誉。CDH 不仅提供了 Hadoop 的核心组件，还集成了许多其他工具，从而优化了大数据应用的构建和管理。
## CDH 架构概览
CDH 是一个多组件架
原创
2024-10-01 11:04:46
25阅读
Hadoop作为入门大数据必须学习的知识，大数据也是从Hadoop学起的，据我所知，在市面上有三款Hadoop：1.Hadoop的原生，去Hadoop的官网下载即可2.CDH版本的Hadoop3.HDP版本的Hadoop后面两种版本的Hadoop比原生的Hadoop更具有兼容性，在博主这里，我选择的是基于CDH版本的Hadoop版本，就让我们进入安装的正题吧 第一步：浏览器打开网址htt
转载
2023-08-18 18:23:53
61阅读
文章目录一. 问题概述二. 解决思路1. 理解hadoop web请求鉴权的逻辑，修改源码 ing2. 放弃hadoop官方的安全认证，使用tegine代理3. 通过Kerberos认证4. 降低版本到2.x一. 问题概述为了支持国产化，hadoop需要安装3.3.1版本，而客户这边需要安全认证，所以对于hadoop需要做的事是升级到3.3.1版本、支持HA模式、安全认证。本文关注hadoop升级
# 社区版 Hadoop 科普
## 简介
Hadoop 是一个开源的分布式计算框架，用于处理大规模数据集。它是 Apache 软件基金会旗下的一个顶级项目，社区版 Hadoop 经过多年的发展已经成为大数据处理的标准之一。
社区版 Hadoop 提供了分布式存储和计算的能力，可以在廉价的硬件设备上运行。它的核心组件包括 Hadoop Distributed File System (HDF
原创
2023-08-11 13:19:57
112阅读
第6步：安装CDH和其他软件设置Cloudera Manager数据库后，启动Cloudera Manager Server，然后登录Cloudera Manager Admin Console：启动Cloudera Manager Server：
RHEL 7兼容：sudo systemctl start cloudera-scm-server兼容RHEL 6，Ubuntu，SLES：sudo
转载
2024-04-26 11:49:11
211阅读
一、环境准备主机IP软件发行商进程node01192.168.10.101hadoop-3.1.0hive-3.1.0spark-2.4.6Apache社区 NameNodeSecondaryNameNodeDataNodeResourceManagerNodeManagerJobHistoryServerHistoryServerRunJar(Hive Metastore)RunJar
一.hadoop安装及注意事项1.安装hadoop的环境，必须在你的系统中有java的环境。2.必须安装ssh，有的系统默认就安装，如果没有安装需要手动安装。 可以用yum install -y ssh 或者 rpm -ivh ssh的rpm包进行安装二.安装并配置java环境hadoop需要在java的环境中运行，需要安装JDK。1.在官网上下载jdk，网址：
转载
2023-07-04 14:29:27
53阅读
## Hadoop社区版查询语句实现流程
为了帮助你快速学习并实现Hadoop社区版的查询语句，下面将详细介绍整个流程，并提供每个步骤需要执行的代码和相关注释。
### 步骤一：准备环境
在开始之前，确保你已经安装和配置了Hadoop社区版环境。这里假设你已经完成了这一步骤。
### 步骤二：创建Hive表
Hive是一个基于Hadoop的数据仓库工具，允许你使用类似于SQL的查询语句来
原创
2023-07-31 17:28:07
48阅读
一、Hadoop实战Hadoop是Apache软件基金会旗下的一一个开源分布式计算平台。以Hadoop分布式文件系统(HDFS，Hadoop Distributed Filesystem)和MapReduce ( Google MapReduce的开源实现)为核心的Hadoop为用户提供了系统底层细节透明的分布式基础架构。HDFS的高容错性、高伸缩性等优点允许用户将Hadoop部署在低廉的硬件上，
转载
2024-09-13 13:46:44
54阅读
CDH（Cloudera's Distribution Including Apache Hadoop）是一个基于Hadoop的开源分布式计算平台。它提供了Hadoop生态系统的最新版本，包括Hadoop、Hive、HBase、Spark等。
本文将带你了解最新的CDH版Hadoop，并通过代码示例展示其使用方法。
## 什么是CDH版Hadoop
CDH版Hadoop是Cloudera提供
原创
2023-12-19 12:30:29
86阅读
一、Hadoop大数据平台1、Hadoop 发行版(1) 完全开源的原生的Apache Hadoop(2) Cloudera与Hortonworks公司的CDH和HDP：在Cloudera和Hortonworks合并后，Cloudera公司推出了新一代的数据平台产品CDP Data Center（以下简称为CDP），从2021年1月31日开始，所有Cloudera软件都需要有效的订阅，并且只能通过
转载
2023-07-21 14:52:25
273阅读
第一步是安装JDK，我用的方法比较简单不需要麻烦的配置环境变量等步骤，直接通过第三方的JDK安装包自动装好，命令如下：sudo add-apt-repository ppa:webupd8team/java
sudo apt-get update
sudo apt-get install oracle-java8-installer第一条命令是添加PPA软件源，第二条命令是更新软件源信息，第三条是
转载
2023-07-13 17:55:31
204阅读
1.1 概述 Hadoop的发行版本有很多，有华为发行版，Intel发行版，Cloudera发行版（CDH），MapR版本,以及HortonWorks版本等。所有发行版都是基于Apache Hadoop衍生出来的，产生这些版本的原因，是由于Apache Hadoop的开源协议决定的：任何人可以对其进行修改，并作为开源或商业产品发布和销售。 收费版本： 收费版本一般都会由新的特性。国内绝大多数公司发
转载
2023-07-04 14:26:26
525阅读
在使用 Cloudera CDH 版的 Hadoop 进行大数据处理时，有时候会遇到“CDH 版 Hadoop HDFS 页面怎么访问”的问题。HDFS（Hadoop Distributed File System）是 Hadoop 的核心组成部分，因此确保能够访问 HDFS 的管理页面至关重要。以下是我在解决这一问题时的详细记录和分析。
## 问题背景
在我们的大数据项目启动过程中，团队需要
https://hadoop.apache.org/docs/
转载
2023-07-05 22:14:02
206阅读
## Hadoop CDH实现步骤
### 1. 准备工作
在开始之前，确保你已经完成以下准备工作：
- 安装好Linux操作系统（例如Ubuntu、CentOS等）；
- 确保安装了Java运行环境（JRE或者JDK）；
- 确保你拥有root权限或者sudo权限。
### 2. 下载Hadoop CDH
首先，你需要下载最新版本的Hadoop CDH。你可以在Cloudera官网上找到
原创
2023-07-24 09:53:10
96阅读
1、环境说明系统环境：系统环境：centos6.7Hadoop版本：CDH5.5JDK运行版本：1.7.0_67集群各节点组件分配：
2、准备工作安装 Hadoop 集群前先做好下面的准备工作，在修改配置文件的时候，建议在一个节点上修改，然后同步到其他节点。因为要同步配置文件和在多个节点启动服务，建议配置 ssh 无密码登陆。
2.1配置hostsCDH 要求使用 IPv
转载
2024-08-02 11:16:59
146阅读
一、Cloudera Manager/CDH51．关于cloudera manager和CDH是什么，这里不做详细介绍了。2．官网的安装指南官方文档提供了三种安装方式：在线自动安装/手动安装包安装/手动使用cloudera manager管理安装此处使用第三种方式安装hadoop集群。 二、环境规划1．系统：CentOS 6.4_x86：4G内存，硬盘尽量大容量：2G内存，硬盘尽量大容量
转载
2024-07-26 11:15:13
105阅读
一、Hadoop在CDH和HDP中的使用咱们前面学习了官方的Apache Hadoop版本，我们前面也说了，在实际工作中其实会使用CDH或者HDP，那下面我们就看一下在CDH和HDP中如何操作Hadoop。注意了，在这里我不打算讲CDH和HDP的安装部署，意义不大，咱们是开发人员，主要侧重于代码开发，安装部署的工作是运维人员的，咱们不能抢饭碗啊，什么都让你做了，别人不就得喝西北风啊，这样太不地道了
转载
2023-07-04 14:14:50
113阅读
