文章目录Docker搭建Hadoop环境Docker的安装与使用拉取镜像克隆配置脚本创建网桥执行脚本Docker命令补充更换镜像源安装vim启动Hadoop测试Word Count查看Web管理页面 Docker搭建Hadoop环境Hadoop集群环境配置起来相当繁琐，并且在学习Hadoop过程中没有一般不会去使用多台设备进行分布式集群配置。因此在一台机器上配置Hadoop分
转载
2023-07-13 13:34:41
31阅读
目录一、Hadoop概述1.1 为什么要用Hadoop？1.2 Hadoop的简要介绍1.3 Hadoop的组成部分1.4 HDFS系统架构 二、Hadoop安装部署2.1 本地模式搭建2.1.1 安装JDK2.1.2. 安装Hadoop2.1.3 Hadoop的目录说明2.1.4. 案例演示: wordcount 2.2&n
转载
2024-08-02 11:00:32
288阅读
HadoopHadoop为何物Hadoop是一个分布式系统基础架构，由Apache基金会所开发。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力高速运算和存储。Hadoop实现了一个分布式文件系统（HadoopDistributed File System），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高传输率（h
转载
2024-06-01 19:26:38
79阅读
集群配置三台ECS云服务器 配置步骤1.准备工作1.1 创建/bigdata目录mkdir /bigdata
cd /bigdata
mkdir /app1.2修改主机名为node01、node02、node031.3修改hosts文件vim /etc/hosts添加node01~node03内网IP映射127.0.0.1 localhost
转载
2024-01-25 16:41:15
134阅读
为配合生产hadoop使用，在本地搭建测试环境，使用docker环境实现（主要是省事~），拉取阿里云已有hadoop镜像基础上，安装hive组件，参考下面两个专栏文章：克里斯：基于 Docker 构建 Hadoop 平台docker上从零开始搭建hadoop和hive环境由于hadoop与hive等存在版本兼容问题，安装前可以先通过官网确认版本兼容情况：http://hive.apache.org
转载
2023-07-13 13:34:55
63阅读
（1）Hadoop运行环境搭建本系列文章将会连续更新Hadoop从零到一的基础开发环境搭建及Hadoop相关生态圈的相关技术。 文章目录（1）Hadoop运行环境搭建前言一、Hadoop是什么二、Hadoop 发行版本三、Hadoop 环境搭建开始 前言本章主要内容：虚拟机的安装及网络配置。 下一章节：JDK的安装、安装Hadoop、克隆另外两台服务器(102、103)、配置免密登录一、Hadoo
转载
2023-09-01 10:02:12
49阅读
部署在私有云是指将Kubernetes集群部署在私有云环境中，而不是在公共云平台或裸机上。这种方式可以让用户更好地控制自己的数据和资源，提高安全性和隐私保护。
整个部署在私有云的过程可以分为以下步骤：
| 步骤 | 操作 |
|------|----------|
| 1 | 创建私有云环境 |
| 2 | 配置Kubernetes集群 |
| 3 | 部署应用
原创
2024-04-26 11:16:35
93阅读
# Hadoop部署在物理机
## 引言
Hadoop是一个用于分布式存储和处理大规模数据的开源框架。它使用分布式文件系统（HDFS）和分布式计算框架（MapReduce）来实现数据的可靠存储和高效处理。本文将介绍如何在物理机上部署Hadoop，并提供相应的代码示例。
## 准备工作
在开始部署Hadoop之前，需要确保物理机满足以下要求：
- 操作系统：推荐使用Linux操作系统，如C
原创
2023-11-17 13:43:32
66阅读
大数据学习的基础生态圈核心组件。本身的框架分为三个组件，HDFS、MapReduce和Yarn。对应着存储，计算和调度功能。除了计算框架MR被其他许多框架代替，HDFS和YARN在各自领域还是基石般的存在。安装前提： 有起码3个节点 (可用虚拟机模拟)。集群的规划: 这是学习了解hadoop框架和简单练习使用命令、API操作框架。这里部署没有采用HA 架构框架node121node122
转载
2024-01-23 22:38:27
42阅读
写在前面的话时间飞快，转眼间，Hadoop云盘开发已经接近尾声，尽管还有许多不如人意的方面，但是已经完成了项目的基本功能。不管最终的比赛结果如何，我始终相信那句话：“尽心则无悔。”在这不到两个月的开发中，我始终享受着整个过程，只有真正付出努力的人，才能体会那种调完所有Bug，实现预期功能的兴奋、满足和感动。今天，当我重新回首这两个月里的每一天，发现了自己的经历和成长。对待问题和困难的态度，对于自己
转载
2024-10-12 14:26:58
12阅读
原创作品，允许转载，转载时请务必以超链接形式标明文章
原始出处 、作者信息和本声明。否则将追究法律责任。
http://jeffxie.blog.51cto.com/1365360/305472
<!--正文 begin-->
数据库是面向事务的设计，数据仓库是面向主题设计的。
数据库是为捕获数据而设计，数据仓库
原创
2023-09-20 12:07:32
80阅读
数据库是面向事务的设计，数据仓库是面向主题设计的。数据库是为捕获数据而设计，数据仓库是为分析数据而设计的。这四句话完全概括了什么是数据库，什么是数据仓库的内涵与精髓。 前面讲了hadoop的部署，以及hadoop的文件数据系统的应用与部署，这次我们讲的是结构化数据仓库Hive首先下载hive，我用的是0.3.x,
原创
2010-04-27 13:30:32
4201阅读
1评论
【系统环境】 1、宿主机OS：Win10 64位 2、虚拟机软件：VMware WorkStation 12 3、虚拟机OS:Ubuntu16.04 4、三台虚拟机 &
转载
2023-07-13 11:29:49
144阅读
ubuntu8.04下hadoop 0202单机搭建 一.所需软件 1.jdk 2.ssh 3.hadoop 下面操作都在root用户下完成操作 二，jdk的安装与设置 1.安装 $apt-get install sun-java6-jdk sun-java6-plugin $update-java-alternatives -s java-6-sun 2.设置 $gedit /etc/profi
转载
2023-07-30 12:54:17
76阅读
# FastDFS部署在云平台
FastDFS是一款开源的分布式文件系统，用于高效地存储和管理文件，尤其适用于大规模文件存储的场景。其特点是支持多种文件格式、具备高性能和高可用性。随着云平台的普及，FastDFS的部署也逐渐向云端迁移。本文将对FastDFS在云平台上的部署过程进行简单说明，并提供相关代码示例。
## 1. 环境准备
在开始部署之前，需要确保云平台的环境符合以下要求：
-
# Hadoop在Docker上的部署
## 介绍
Hadoop是一个开源的分布式计算框架，用于处理大规模数据的存储和计算。而Docker是一种轻量级的容器技术，可以帮助简化应用程序的部署和管理。将Hadoop部署在Docker上可以提供更加灵活和便捷的环境管理方式。
## 步骤
下面是部署Hadoop在Docker上的流程：
| 步骤 | 描述 |
| ---- | ---- |
| 1
原创
2024-04-23 20:05:12
100阅读
Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），其中一个组件是HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high thr
转载
2024-07-26 09:49:02
21阅读
深入剖析阿里巴巴云梯YARN集群
摘要：阿里巴巴是国内使用Hadoop最早的公司之一，已开启了Apache Hadoop 2.0时代。本文将详细介绍阿里巴巴如何充分利用YARN的新特性来构建和完善其多功能分布式集群——云梯YARN集群。
阿里巴巴作为国内使用Hadoop最早的公司之一，已开启了Apache Hadoop 2.0时代。阿里巴巴的Hadoop集群，即云梯
转载
2023-07-25 18:33:48
67阅读
1、hadoop背景介绍1.1、什么是Hadoop （1） HADOOP是apache旗下的一套开源软件平台 （2）HADOOP提供的功能：利用服务器集群，根据用户的自定义业务逻辑，对海量数据进行分布式处理 （3） HADOOP的核心组件有: &n
转载
2023-09-20 07:19:34
57阅读
如何在云上部署Hadoop集群
Hadoop是一个开源的分布式计算平台，广泛应用于大数据处理和分析。随着云计算的兴起，越来越多的企业选择将Hadoop集群部署在云上，以便更好地利用弹性计算资源和灵活的部署方式。本文将介绍如何在云上部署Hadoop集群，并解决一个实际问题。
实际问题：如何在云上自动化地部署和管理Hadoop集群？
解决方案：使用云服务商提供的自动化工具和API，结合Hadoo
原创
2024-01-13 08:12:26
89阅读
