目录介绍Hadoop的先决条件安装VMWare Player和Ubuntu操作系统安装Java 8 JDK设置JAVA_HOME变量安装SSH下载Hadoop安装Hadoop配置Hadoop结论介绍在我之前的文章中，我试图对大数据和Hadoop进行概述。在本文中，我将向您展示如何在Ubuntu操作系统上安装Hadoop（单节点集群）。Windows用户也可以按照本文在虚拟机中安装Ubuntu 获得
转载
2024-02-26 20:40:57
25阅读
学大数据需要具备什么基础？学大数据应具备编程开发经验，今天主要介绍学大数据应具备的基础，学员从java基础开始，学习大数据开发过程中的离线数据分析、实时数据分析和内存数据计算等重要内容；涵盖大数据体系中核心技术;Linux、Zookeeper、Hadoop、Redis、HDFS、MapReduce、Hive、Impala等知识点。学大数据基础包含涵盖大数据体系中的技术点，包括但不限于Linux、Z
转载
2023-09-19 19:59:41
76阅读
HDFS（分布式文件系统）1 HDFS架构HDFS （Hadoop Distributed File System） Hadoop分布式文件系统。 作用：解决海量数据存储问题—分布式文件系统(多台计算机存储) 突破单体服务器的存储能力。在学习HDFS的使用前，我们先来了解下HDFS的架构和相关的概念。无论使用何种技术，大规模数据存储都要解决以下几个核心问题：数据存储容量的问题 ：大数据要解决的是数
转载
2023-09-30 20:56:15
102阅读
目录一，下载zookeeper 1，从官网下载2，从百度网盘下载二，安装zookeeper1， 解压 2，创建数据目录 3，修改配置文件4，创建服务器id文件 5，复制zookeeper文件到其他节点6，启动zookeeper7，查看启动状态8，测试客户端连接一般来说，我们是先安装好了Hadoop再去安装zookeeper的如果就想要先
转载
2023-11-08 18:53:32
58阅读
一、集群搭建1.1、集群简介HADOOP集群具体来说包含两个集群：HDFS集群和YARN集群，两者逻辑上分离，但物理上常在一起HDFS集群：负责海量数据的存储，集群中的角色主要有 NameNode / DataNodeYARN集群：负责海量数据运算时的资源调度，集群中的角色主要有 ResourceManager /NodeManager部署图：1.2、服务器准备本案例使用虚拟机服务器来搭建HADO
转载
2023-11-03 19:17:46
108阅读
本想一口气把redis多学一点，奈何还有常见的如穿透、雪崩、击穿、分布式锁、redis并发原理、linux多路复用、redis集群等都还没梳理清楚，而项目就需要先学习一下hadoop等大数据相关技术，于是不得不暂停redis，转而进入hadoop系列的摸石头过河。据我了解，一般正式环境的hadoop使用都是需要zookeeper的，但是使用hadoop是否一定要zookeeper这个事，对于刚开始
转载
2023-09-14 08:23:40
199阅读
hadoop的RPC基本概念：1，RPC(Remote Procedure Call Protocol)--远程过程调用协议，它是一种通过网络从远程计算机程序上请求服务，而不需要了解底层网络技术的协议。RPC协议假定某些传输协议的存在，如TCP或UDP，为通信程序之间携带信息数据。在OSI网络通信模型中，RPC跨越了传输层和应用层。RPC使得开发包括网络分布式程序在内的应用程序更加容易。2，had
转载
2023-07-29 18:20:03
68阅读
一、模板虚拟机环境准备1.安装模板虚拟机，IP地址192.168.10.100、主机名称hadoop100、内存4G、硬盘50G1）hadoop100虚拟机配置要求如下（本文Linux系统全部以CentOS-7.5-x86-1804为例）（1）使用yum安装需要虚拟机可以正常上网，yum安装前可以先测试下虚拟机联网情况[root@hadoop100 ~]# ping www.baidu.com
P
转载
2023-08-01 21:34:02
196阅读
一.Linux集群部署除了VMware，你还需要下载一个镜像文件“CentOS-6.6-x86_64-bin-DVD1.iso”本文所述均在一台笔记本电脑上模拟实现集群的部署。该笔记本电脑配置如下，Windows7旗舰版64位操作系统；处理器：Intel(R) Core(TM)i5-4210H CPU @2.90GHz 2.90GHz；内存（RAM）：12.0GB的笔记本电脑上安装了四
转载
2023-11-27 22:04:29
68阅读
生命不息，折腾不止，趁着最近工作不是太忙继续我的编程之路的学习。 年龄大了，很多东西做过一遍就容易忘记，所谓“好记性不如烂笔头”，对于知识还是记录下来比较容易保存，既是给自己留个笔记，也可以分享给其他有需要的人。废话少说，以下记录我的spark学习之旅： 一、准备工作 1.准备三台服务器.一台作为master,另外两台作为slave 我这里准备了三台服务器，对应的I
转载
2024-07-06 05:57:36
41阅读
一、学习内容1.hadoop 介绍2.mapreduce学习二、学习目的1.通过学习hadoop基础知识，了解hadoop，通过hadoop和其他架构的比较，深入了解hadoop的优缺点，及其适应的场景2.mapreduce是hadoop的核心工能，通过mapreduce的学习掌握hadoop处理分析大数据的基本思路三、详细内容1.为什么不能用关系型数据库批量处理大数据？这问题的答案跟另一个发展趋
转载
2023-08-25 23:31:09
35阅读
【Hadoop配置】用最短的时间配置伪分布式Hadoop（个人亲身经历） 目录【Hadoop配置】用最短的时间配置伪分布式Hadoop（个人亲身经历）一、概述二、前言三、详细过程（一）前期的尝试（二）从头配置Hadoop1.下载hadoop-2.7.3.tar.gz和jdk-8u271-linux-x64.tar.gz2.准备网络3.修改主机名和hosts文件等4.添加hadoop用户5.hado
转载
2023-08-23 20:44:35
132阅读
由于学校开了门大数据的课程，在做实验的时候踩了许多坑，所以将Hadoop安装过程以及踩坑和如何避免踩坑在这里和大家分享一下。这次Hadoop平台的搭建主要是搭建一个三台服务器的集群，采用完全分布式的方式。看本博客前需要将linux系统在虚拟机上搭建好。一、网络配置注：三台服务器都需要配置网络。（也可以采用克隆的方式，但要记得对其他两台机器的网络信息进行修改）还是建议大家每台都操作一遍，熟悉过程
转载
2024-05-21 23:33:36
69阅读
Hadoop是一个能够对大量数据进行分布式处理的软件框架。 Hadoop 以一种可靠、高效、可伸缩的方式进行数据处理。Hadoop 是可靠的，因为它假设计算元素和存储会失败，因此它维护多个工作数据副本，确保能够针对失败的节点重新分布处理。Hadoop 是高效的，因为它以并行的方式工作，通过并行处理加快处理速度。Hadoop 还是可伸缩的，能够处理 PB 级数据。此外，Hadoop 依赖于社区服务，
转载
2023-09-14 08:23:46
153阅读
## 部署Hadoop需要RAID
RAID（冗余磁盘阵列）是一种将多个磁盘组合在一起以提供更高性能，更高容量和更高可靠性的技术。在部署Hadoop集群时，使用RAID可以提高数据的可靠性和容错能力，从而保护数据免受磁盘故障和数据丢失的影响。本文将介绍如何在Hadoop集群中使用RAID。
### 什么是RAID
RAID是一种将多个独立磁盘组合成一个逻辑单元的技术。RAID提供了多种级别，
原创
2023-11-15 06:09:12
133阅读
# 如何在datax中安装hadoop
## 简介
在使用datax的过程中，有时候需要连接hadoop进行数据读取或写入操作。而为了实现这一点，就需要在datax中安装hadoop。在本文中，我将向你展示如何在datax中安装hadoop的过程，并给出详细的步骤和代码示例。
## 流程概览
在安装hadoop之前，我们首先需要确保已经安装了datax，然后按照以下步骤进行操作：
```me
原创
2024-04-24 05:34:43
38阅读
### Hadoop与SELinux: 必须关闭的原因及步骤
在大数据处理的领域中，Apache Hadoop 是一个重要的开源框架。它旨在存储和处理大量数据，但是在某些Linux系统上运行Hadoop时，会遇到一个常见的问题，那就是 SELinux（Security-Enhanced Linux）会影响Hadoop的正常运行。本文将详细阐述为什么需要关闭SELinux，并提供相应的操作步骤和代
# Hadoop与SSH登录的必要性
在大数据的时代，Hadoop作为一个强大的框架，广泛应用于分布式存储和处理海量数据。Hadoop生态系统中的许多操作都要求通过SSH（安全外壳协议）进行远程登录。这是因为Hadoop集群通常由多台节点组成，SSH提供了一种安全的方式，让你能够在不同的节点之间进行管理和控制。
## 一、什么是Hadoop？
Hadoop是一个开源的分布式计算框架，基于Ja
# Hadoop为什么需要Zookeeper？
在大数据处理的生态系统中，Hadoop作为一种广泛使用的分布式计算框架，被许多企业所依赖。为了提高Hadoop集群的可管理性、可用性以及效率，Apache Zookeeper的引入尤为重要。本文将探讨Zookeeper在Hadoop生态系统中的作用，并通过代码示例进行说明。
## Zookeeper的角色
Zookeeper是一种开源的分布式协
原创
2024-09-26 05:24:45
90阅读
# 学习Hadoop 需要电脑
在当今大数据时代，Hadoop作为一个开源的分布式存储和计算框架，被广泛应用于数据处理和分析。如果你想要学习Hadoop，那么你需要准备一台电脑来进行实践操作。
## 为什么需要电脑学习Hadoop？
Hadoop是一个分布式系统，需要在多台机器上运行。如果你没有一台电脑来搭建Hadoop集群，那么你将无法进行实践操作，只能停留在理论层面。
通过搭建Hado
原创
2024-06-28 05:34:37
28阅读
