原文网站：https://www.cloudera.com/documentation/enterprise/latest.htmlIntroductionCDH Cloudera Manage
原创
2023-01-02 21:46:04
397阅读
Hadoop概述一、hadoop是什么？hadoop是一个由Apache基金会开发的分布式系统基础架构主要解决，海量数据的存储和海量数据的分析计算问题广义上来说，Hadoop通常是指一个更广泛的概念——Hadoop生态圈二、Hadoop发展史略三、Hadoop三大发行版本Apache 版本最原始（最基础）的版本，对于入门学习最好。2006 Cloudera 内部集成了很多大数据框架，对应产品 CD
转载
2023-08-18 13:28:16
376阅读
第一节 设置单节点集群目的这个文档描述了如何设置和配置单节点的安装，以便您可以使用Hadoop MapReduce和Hadoop分布式文件系统（HDFS）进行快速的简单操作。准备平台支持支持GNU/Linux作为开发的生产平台。Hadoop已经在具有2000个GNU/Linux集群进行了演示。Windows平台同样得到了支持，但是以下的步骤只针对于Linux。如果想在Windows平台设置Hado
转载
2023-07-20 17:11:26
598阅读
Hadoop超详细入门（一）介绍及虚拟机安装要求有Java基础有Linux基础有程序设计及算法能力背景及介绍1.ApacheHadoop：https://hadoop.apache.org/。2.Apache Hadoop 软件库是一个框架，它允许使用简单的编程模型跨计算机集群分布式处理大型数据集。它旨在从单个服务器扩展到数千台机器，每台机器都提供本地计算和存储。库本身不是依靠硬件来提供高可用性，
转载
2023-09-20 10:40:10
33阅读
Hadoop 部署文档1 先决条件2 下载二进制文件3 修改配置文件3.1 core-site.xml3.2 hdfs-site.xml3.3 mapred-site.xml3.4 yarn.xml3.5 slaves3.6 hadoop-env.sh4 将配置好的 Hadoop 分发到其他节点5 启动集群5.1 格式化 HDFS5.2 启动集群6 提交示例任务7 坑7.1 hostname 配置
转载
2023-09-05 20:36:00
78阅读
这个篇文档可把我翻译惨了现在都还没翻译完，格式也还没整理，不过该文档应该还是讲述了hadoop2的全部配置，感觉在网上所有hadoop2的配置文档里是介绍的最全的。HADOOP新一代Mapreduce集群配置目的： 这个文档描述了怎么样安装、配置和管理一个从几个节点到上千个节点的hadoop集群。 &nb
技能目标:理解CDH核心概念会进行CDH群集的部署会使用管理控制台对CDH群集进行管理会使用添加CDH群集服务8.1 案例分析8.1.1 案例概述Apache Hadoop是目前最主流的在通用硬件构建大型群集上运行应用程序的分布式架构。采用Apache 2.0许可协议发布开源协议，从而使用户可以免费使用以及任意修改Hadoop。官方版本称为社区版Hadoop，市面上有很多其他Hadoop版本，比较
转载
2023-07-20 17:11:40
83阅读
hadoop核心Apache Hadoop 项目有两个核心组件，被称为 Hadoop 分布式文件系统 (Hadoop Distributed File System, HDFS) 的文件存储，以及被称为 MapReduce 的编程框架。有一些支持项目充分利用了 HDFS 和 MapReduce。支持商Hadoop有两个主要支持商HortonWorks (代表社区)和 Cloudera (代表商业)
1、ClouderaManager包含内部机架感知脚本，但您必须指定群集中主机所在的机架。如果您的群集包含10个以上的主机，Cloudera建议您为每个主机指定机架。HDFS，MapReduce和YARN将自动使用您指定的机架。https://www.cloudera.com/documentation/enterprise/5-13-x/topics/cm_mc_specify_rack.htm
原创
2019-05-23 20:45:14
2058阅读
点赞
目录1.下载Hadoop2.通过Xftp上传Hadoop至Linux3.配置环境变量3.1环境变量临时生效3.2环境变量永久生效 1.下载Hadoop**操作系统：Centos7.6 64位 工具：Xftp5、Xshell7 1.阿里云下载hadoop：https://mirrors.aliyun.com/apache/hadoop/core/hadoop-2.10.2/ 2.百度网盘链接下载：
转载
2023-09-06 09:51:46
44阅读
1.1Hadoop 是什么 狭义上来说，hadoop就是单独指代hadoop这个软件，广义上来说，hadoop指代大数据的一一个生态圈。1.2Hadoop官网 网址 http://hadoop.apache.org/1.3Hadoop Mod
转载
2023-08-08 08:26:52
803阅读
一、Hadoop大数据平台1、Hadoop 发行版(1) 完全开源的原生的Apache Hadoop(2) Cloudera与Hortonworks公司的CDH和HDP：在Cloudera和Hortonworks合并后，Cloudera公司推出了新一代的数据平台产品CDP Data Center（以下简称为CDP），从2021年1月31日开始，所有Cloudera软件都需要有效的订阅，并且只能通过
转载
2023-07-21 14:52:25
179阅读
Index of /docs Name Last modified Size Description Parent Directory - current/ 2019-09-24 14:45 - current1/ 2019-08-22 16:09 -...
原创
2022-03-30 16:34:19
354阅读
Index of /docs Name Last modified Size Description Parent Directory - current/ 2019-09-24 14:45 - current1/ 2019-08-22 16:09 -...
原创
2021-08-26 09:34:59
397阅读
apache hadoop 3.2.1 Apache Hadoop 3.2.1在以前的主要发行版本（hadoop-3.2）上进行了许多重大改进。该版本普遍可用（GA），这意味着它代表了我们认为已经可以投入生产的API稳定性和质量。总览 鼓励用户阅读全套发行说明。此页面概述了主要更改。YARN中的节点属性支持 节点属性有助于根据节点的属性在节点上标记多个标签，并支持基于这些标签的表达来放置容器。YA
原创
2021-04-25 22:43:56
202阅读
目前：大家玩大数据一般都是从 cdh 或 hdp 开始玩的，从集成环境好处多多，但是真正要掌握集群环境。手动整一把是必须的。本栏将从hadoop 的官方文档开始为大家剖析hadoop ,及一个hadoop 平台管理员应该掌握什么东西做一一解析。hadoop 的官方文档主要包括以下内容： 总览 -----------------------------------------------------
原创
2021-04-25 22:44:27
345阅读
2019/3/22星期五1、安装后，能装getway的都要装getway2、静态资源分配默认不打开3、ClouderaManager次要版本必须始终等于或大于CDH次要版本。旧版本的ClouderaManager可能不支持较新版本的CDH中的功能。例如，ClouderaManager5.12.0可以管理CDH5.12.2，因为次要版本是相同的。ClouderaManager5.12.0无法管理CD
原创
2019-03-25 13:51:17
4421阅读
点赞
第一步是安装JDK，我用的方法比较简单不需要麻烦的配置环境变量等步骤，直接通过第三方的JDK安装包自动装好，命令如下：sudo add-apt-repository ppa:webupd8team/java
sudo apt-get update
sudo apt-get install oracle-java8-installer第一条命令是添加PPA软件源，第二条命令是更新软件源信息，第三条是
转载
2023-07-13 17:55:31
167阅读
铺垫人产生数据的速度越来越快，机器则更加快，数据的增长速度通常比算法更快，所以需要另外的一种处理数据的方法。硬盘的容量增加了，但性能没有跟上，解决办法是把数据分到多块硬盘，然后同时读取。但带来一些问题：硬件问题：复制数据解决（RAID）分析需要从不同的硬盘读取数据：MapReduce而Hadoop提供了1.可靠的共享存储（分布式存储） 2.抽象的分析接口（分布式分析）大数据概念不能使用
文章目录1. linux ssh免密登陆配置2. java环境配置3. Hadoop完全分布式(full)4. Hadoop HDFS高可用集群搭建（HA）4.1 安装配置zookeeper4.2 安装配置hadoop HA4.3 Hadoop HDFS HA集群的启动步骤5. Hadoop MapReduce、YARN 高可用集群搭建5.1 修改 mapred-site.xml5.2 修改ya
