由于学校开了门大数据的课程，在做实验的时候踩了许多坑，所以将Hadoop安装过程以及踩坑和如何避免踩坑在这里和大家分享一下。这次Hadoop平台的搭建主要是搭建一个三台服务器的集群，采用完全分布式的方式。看本博客前需要将linux系统在虚拟机上搭建好。一、网络配置注：三台服务器都需要配置网络。（也可以采用克隆的方式，但要记得对其他两台机器的网络信息进行修改）还是建议大家每台都操作一遍，熟悉过程
转载
2024-05-21 23:33:36
69阅读
1.HA架构注意事项 两个Namenode节点在某个时间只能有一个节点正常响应客户端请求，响应请求的节点状态必须是activestandby状态要能够快速无缝切换成active状态，两个NN节点必须时刻保持元数据一致将edits文件放到qjournal(一种分布式应用，依赖zookeeper实现，管理edits)，而不存储在两个NN上，如果各个edits放在各个NN上，只能通过网络通信达
转载
2024-07-26 12:46:37
54阅读
author：姚建松 Hadoop 集群部署文档 一、准备工作 准备工作： 现在有 3 台机器，这里以 centos6.8-64 位为例，以 minimal 方式安装 192.168.1.101 192.168.1.102 192.168.1.103 在 3 台节点上都先关闭防火墙 iptables –F chkconfig iptables off setenforce 0 vi /etc/se
hadoop2.6 HA平台搭建一、条件准备软件条件：Ubuntu14.04 64位操作系统，Hadoop 2.6.0, zookeeper 3.4.6硬件条件：1台主节点机器，配置：cpu 8个，内存32G,硬盘200G5台从节点机器，配置均为：cpu 4个，内存16G,硬盘200G各个节点IP如下：服务器名字Ip地址备注（为方便操作将hostname改为如下）Hd-Na
转载
2024-06-12 19:38:01
80阅读
（一）配置环境
1.1.硬件：
三台机器：ubuntu12.04-64 server
1.2 软件：
jdk 1.6.0_45 64位
hadoop-1.0.3
1.3 分工如下：
node00:NameNode/JobTracker/SecondaryNameNode(这里最好用一台机来单独做SecondaryNameNode)
node01:DataNode/TaskTracker
node
转载
2024-07-26 12:46:50
47阅读
一.Linux集群部署除了VMware，你还需要下载一个镜像文件“CentOS-6.6-x86_64-bin-DVD1.iso”本文所述均在一台笔记本电脑上模拟实现集群的部署。该笔记本电脑配置如下，Windows7旗舰版64位操作系统；处理器：Intel(R) Core(TM)i5-4210H CPU @2.90GHz 2.90GHz；内存（RAM）：12.0GB的笔记本电脑上安装了四
转载
2023-11-27 22:04:29
68阅读
说明本博文较长，但是有效，如若计划安装多节点的hadoop，请一步一步坚持下去，有问题请留言，我们可以讨论来解决问题。 本人将该4个节点的hadoop安装在了vmware上了，同时支持安装在物理机或者vmware ESXi上。节点说明ip地址hadoop01主节点192.168.10.61hadoop02从节点192.168.10.62hadoop03从节点192.168.10.63hadoop
Ingress基本概念通俗来讲，ingress和Service、Deployment，也是一个k8s的资源类型，ingress用于实现用域名的方式访问k8s内部应用。通过用户访问的 URL，把请求转发给不同的后端 Service。这种全局的，为了代理不同后端Service而设置的负载均衡服务，就是Kubernetes里的Ingress服务。client > 负载均衡(
转载
2024-10-14 06:24:43
58阅读
一、同机器下的集群搭建： 1，创建redis实例统一存放的文件夹——在/usr/local路径下创建cluster文件夹，命令：mkdir cluster &nb
转载
2024-06-28 20:16:20
50阅读
Hadoop搭建——部署准备，linux基础操作前言：Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。在自己的计算机学习中，我们需要应用linux,在企业中大数据处理的是自己企业的内部服务器，其服务器的操作系统大多数是Linux系统。在VMware中我们需要搭建三台虚拟机类模拟多台服务器。资源：百度网盘： 链接：https://p
转载
2023-08-17 01:47:53
146阅读
# 如何实现hadoop集群几台机器合适
## 1. 流程图
```mermaid
sequenceDiagram
小白->>经验丰富的开发者: 请求帮助
经验丰富的开发者-->>小白: 回答问题
```
## 2. 步骤
| 步骤 | 描述 |
| --- | --- |
| 1 | 确定需求和数据量 |
| 2 | 配置Hadoop集群 |
| 3 | 测试集群 |
|
原创
2024-04-12 04:31:20
26阅读
Sails+mongoDB项目部署在阿里云服务器上一、购买服务器1. 配置安全规则： 80/80：sails接口27017/27017：mongodb接口8080/8080：tomcat接口22/22：ssh接口（ftp）用的二、下载xshell和xftp1.Xshell：远程控制服务器的centos 注意：名称随便取，主机是服务器
1.Zookeeper安装搭建Zookeeper集群并查看各服务器的角色停止Leader并查看各服务器的角色1.1 安装Zookeeper1）编辑/etc/hosts ,所有集群主机可以相互 ping 通（在nn01上面配置，同步到node1，node2，node3）nn01 hadoop]# vim /etc/hosts192.168.1.21 nn01192.168.1.22 node1192
Hadoop三种安装模式：单机模式，伪分布式，真正分布式 Hadoop三种安装模式：单机模式，伪分布式，真正分布式 一 单机模式standalone
单机模式是Had
转载
2024-01-23 22:25:40
35阅读
学习k8s需要几台机器
作为一名经验丰富的开发者，我很高兴能够分享关于学习Kubernetes（K8S）所需的机器数量以及相应的步骤和代码示例。Kubernetes是一个用于自动部署、扩展和管理容器化应用程序的开源平台，学习它将对您的职业生涯带来巨大的帮助。
首先，让我们来看看学习Kubernetes所需的机器数量。通常在学习和开发阶段，您至少需要3台机器来设置一个基本的Kubernetes集
原创
2024-03-05 10:08:16
205阅读
Hadoop 部署1.准备环境硬件环境： （1）由于分布式计算需要用到很多机器，部署时用户须提供多台机器，至于提供几台，需要根据部署计划确定。标准方式的部署计划需要6台机器。实际上，完全模式部署Hadoop时，最低需要两台机器（一个主节点，一个从节点）即可实现完全模式部署，而使用多台机器部署（一个主节点，多个从节点），会使这种完全模式体现的更加充分（硬件方面：每台机器最低要求有1GB内存，2
转载
2023-07-31 17:29:59
641阅读
步骤1：将安装包hadoop-2.2.0.tar.gz存放到某一目录下，并解压；
步骤2：修改解压后的目录中的文件夹etc/hadoop下的xml配置文件（如果文件不存在，则自己创建），包括hadoop-env.sh、mapred-site.xml、core-site.xml、hdfs-site.xml和yarn-site.xml；
步骤3：格式化
转载
2023-10-07 23:17:59
121阅读
# Hadoop 分布式最小集群实现指南
在信息技术快速发展的今天，大数据处理框架Hadoop已成为许多企业数据分析的首选。对于刚起步的小白来说，理解如何搭建一个Hadoop分布式集群是一个重要的学习过程。本篇文章将帮助你实现Hadoop的最小集群，并详细分解每一步的代码及其功能。
## 1. 流程概述
在搭建Hadoop分布式集群之前，我们需要明确每一步的工作。以下是实现流程的简要步骤：
刚接触Hadoop三天，今天终于成功用三台机跑起测试，记录一下。 一、准备（所有节点都需要做）：系统：Ubuntu12.04java版本：JDK1.7(安装步骤看上一篇文章)SSH（ubuntu自带）确保三台机在同一个ip段，最好设置为静态IP，重启后就不用纠结IP变化了机器分配：一台master,两台slave 我的主机信息是(hosts文件添加如下信息)：192.168.8
转载
2023-08-22 19:35:47
129阅读
1、分布式环境搭建 采用4台安装Linux环境的机器来构建一个小规模的分布式集群。图1 集群的架构 其中有一台机器是Master节点，即名称节点，另外三台是Slaver节点，即数据节点。这四台机器彼此间通过路由器相连，从而实验相互通信以及数据传输。它们都可以通过路由器访问Internet，实验网页文档的采集。2、集群机器详细信息2.1 Master服务器 名称详细信息机器名称Ma
转载
2024-04-22 11:56:48
14阅读
