用了这么久的hadoop，只会使用streaming接口跑任务，各种调优还不熟练，自定义inputformat ， outputformat， partitioner 还不会写，于是干脆从头开始，自己搭一个玩玩，也熟悉一下整体架构。整体环境：主机Win7 i5 4核 8G内存 笔记本；虚拟机（客户机）采用Centos5.9 （ 用这个的原因是不想用图形界面，并且以后还想试着装一下ICE
转载
2024-07-23 09:10:29
51阅读
hadoop安装包：https://pan.baidu.com/s/1ma4AywSvK4sYHJZ_J40amQ 提取码：k91h linux虚拟机安装及配置参考： linuxj中jdk配置参考： 我这里以四台虚拟机集群演示，包括一台主机vwmaster，三台从机vwslave01，vwslave02，vwslave03 首先，虚拟机之前需要免密访问，请参考：关于设置主机名和免密登录 Hadoo
转载
2023-07-21 14:58:55
95阅读
目录引言1.搭建前准备1.1所需软件1.2HADOOP配置参数定义2.在虚拟机上安装CentOS结束引言本文介绍在VMware虚拟机下，如何搭建配置HADOOP平台，本文的目的是成功搭建HADOOP测试环境，对于技术细节原理不做介绍，过程中会把遇到的错误进行说明，避免踩坑，本篇文章为上篇，介绍如何安装CentOS虚拟机，下篇介绍如何搭建一主三从的HADOOP平台。1.搭建前准备1.1所需软件VMw
转载
2023-10-30 21:32:20
8阅读
一、整体规划一主三从，整理如下：主机名IPHDFSYARNhadoop192.168.56.100NameNodeResourceManagerhadoop1192.168.56.101DataNodeNodeManagerhadoop3192.168.56.102DataNodeNodeManagerhadoop3192.168.56.103DataNodeNodeManager二、集群搭建1.
转载
2023-10-10 21:28:21
64阅读
1. 准备工作1.1 环境Centos 7JDK 1.8Hadoop 2.10.01.2 集群部署规划hadoop1hadoop2hadoop3HDFSNameNode, DataNodeDataNodeSecondaryNameNode, DataNodeYarnNodeManagerResourceManager, NodeManagerNodeManager2. 配置主节点2.1 创建虚拟机
转载
2023-08-05 18:27:24
299阅读
Hadoop集群搭建一. Linux虚拟机安装1.1创建虚拟机启动vmware,点击创建虚拟机,开始进行创建 在弹出的安装向导界面选择典型,之后选择下一步 选择稍后安装操作系统,再点下一步 在客户机操作系统选择linux,版本根据自己的选择,这里我选择centos7 64位,之后点击下一步 之后填好虚拟机名称和位置,点击下一步 这里磁盘大小默认20G即可,并磁盘拆分为多个文件,再点下一步 最后选择
转载
2023-11-13 10:20:26
471阅读
测试已成功完成安装的版本
点击图文安装教程hbase-1.2.6-bin.tar.gz hadoop-2.7.5.tar.gz ubuntu-16.04.3-server-amd64.ios jdk-8u161-linux-x64.tar.gz zookeeper-3.4.8.tar.gzps：如有需要请留言写在前面的话
关于这篇博客 本教程并不是自己总结而写的，都是网站上的大牛们，一个个超详细的
转载
2023-10-30 21:43:02
59阅读
首先声明，此内容是观看了尚学堂大数据课程视频，对其知识点的总结，并非本人的原创 此教程是搭建非HA的hadoop全分布式集群，HA和非HA集群对于个人学习HDFS、map reduce和hadoop相关组件几乎没有什么影响，但是HA的相关知识及配置步骤还是需要掌握的。HDFS和yarn的HA搭建HDFS和yarn的HA搭建。机器环境配置说明：Linux版本：CentOS
转载
2023-10-27 17:17:09
74阅读
Linux系统搭建Hadoop集群一、准备工作安装包下载： 链接： https://pan.baidu.com/s/1Co7parw2Y7AiW321WIFsFw 提取码: nscs使用Oracle VM VirtualBox 创建Linux虚拟机(教程如下)： 将IP地址设为：192.168.56.131 设置主机名：将主机名设为hadoop-01hostnamectl set-hostname
环境说明操作系统：CentOS 8 x86_64 Hadoop版本：2.10.1 节点数：3 服务器规划：node1node2node3199.188.166.111199.188.166.112199.188.166.113NameNode(NN)Secondary NameNodeResourceManager(RM)DataNode(DN)DataNode(DN)DataNode(DN)No
转载
2024-02-08 03:27:04
222阅读
一、集群搭建 1）安装操作系统以及免密环境 所用工具，如图1所示：图1 vm虚拟机和镜像文件 [1]新建虚拟机，点击下一步，如图1-1-1所示。图1-1-1 新建虚拟机 [2]选择“稍后安装操作系统”，点击下一步，如图1-1-2所示。图1-1-2 手动安装Linux [3]选择“客户机操作系统“为Linux，版本选择CentOS8 64位 如图1-1-3所示。图1-1-3 选择操作系统 [4]命名
转载
2024-04-26 10:06:07
97阅读
最近试着搭建Hadoop集群和Storm集群，先在虚拟机上做个实验。Storm的安装步骤见Github上提供的安装文档: https://github.com/nathanmarz/storm/wiki/Setting-up-a-Storm-cluster 各系统版本：VMwareWorkstation 9.0.0ubuntu-12.04.1-desktop-i386hadoop-1.
转载
2024-09-25 12:59:32
225阅读
一、windows下搭建虚拟机 1. 创建虚拟机01 2. 创建虚拟机02
转载
2023-10-16 12:25:16
207阅读
hadoop环境搭建（一）：环境准备近期，学校开始了大数据课程，我带着学生从零到有一步一步架设大数据集群，现将具体步骤记录，以便更多初涉大数据的小白们有个参考，欢迎评论区留言讨论。 很少写博客，所以功能掌握的不够，只会简单功能，希望诸位看官见谅。一、vmare安装略二、centos7安装采用桥接模式，这样可以使用多台物理机组建网络。三、模板hadoop虚拟机配置1、配置所有配置均在root用户下进
转载
2023-09-14 08:22:01
73阅读
使用的虚拟机软件是：VMWare Workstation Pro 14虚拟机系统：Ubuntu 18.04注：涉及到的内容比较多，可直接点击相应链接查看对应内容目录创建新账户安装ssh安装vim在虚拟机中安装JDK并配置环境变量安装Eclipse（可选）安装HadoopHadoop伪分布模式修改启动HDFS伪分布式模式创建新账户参考文章：Ubuntu16.04系统中创建新用户*使用adduser命
转载
2023-10-23 23:30:26
117阅读
虚拟机名称 机器名 IP 作用namenode master &n
转载
2024-07-24 08:45:09
50阅读
目录一、安装VMware虚拟机centos7 二、搭建集群准备工作（一）准备模板机（二）克隆三台虚拟机三、搭建三台机器Hadoop集群1.集群部署2.在hadoop102上安装jdk3. 在hadoop102上安装hadoop4.准备同步数据脚本 5.SSH免密登录6.配置文件7.格式化namenode，以及单点启动8. 官方四个群启/群停9.封装群启/群停脚本10.群起群停命
转载
2023-10-01 13:08:28
162阅读
在 Linux 上安装 Hadoop 教程 在虚拟机中安装的Ubuntu系统下搭建Hadoop 集群时首先要解决的问题是将宿主机的文件拷贝到虚拟机上。采用的简单方法是宿主机使用Serv-U建立一个FTP然后在虚拟机上登录将文件拷出来。要先熟悉Linux的基本概念和操作，如：cd、ls、tar、cat、ssh、scp、cp、rm、sudo、su、apt-get等操作。一 .
转载
2024-01-04 09:19:05
0阅读
VMware Workstation虚拟机安装Linux系统不做介绍， 主要记录宿主机与虚拟机的网络配置目录基础安装VMware后，宿主机本地网络会出现两个网卡 编辑VMware虚拟网络虚拟机有3种网络模式可选 桥接模式 仅主机模式 NAT模式案例：用nat模式搭建虚拟机集群网段规划1.编辑VMware虚拟网络2.设
转载
2024-04-08 11:20:33
61阅读
在Kubernetes（K8S）中搭建Hadoop集群是一个常见的任务，可以让你快速部署和管理大规模的数据处理任务。在这篇文章中，我将向您展示如何在虚拟机上搭建Hadoop集群的步骤，并提供相应的代码示例。
首先，让我们来看一下整个流程的步骤：
| 步骤 | 描述 |
|-----|
原创
2024-05-20 10:19:22
123阅读
