前言记录一下学习搭建Hadoop环境时看的一些文章正文1，单机模式
【Hadoop基础教程】2、Hadoop之单机模式搭建：这个文章是Hadoop1.2.1的配置方法，但用在2.x系列上也好用。这个博客里的相关Hadoop的文章都可以看看，写的很清楚，就是版本老了点。
Hadoop单机模式和伪分布式搭建教程CentOS：2.6版本的Hadoop的配置文章Macos 上安装 Hadoop把 hado
一.安装Centos71.点击自定义安装2.点击下一步3.选择稍后安装操作系统，点击下一步4.选择操作系统为linux和版本为Centos75.设置虚拟机名称和位置，位置后最好自己命名一个文件夹名称6.直接下一步7.使用网络地址转换8.直接下一步9.选择创建新的虚拟磁盘，注意不要点击立即分配磁盘空间10.直接下一步，然后完成11.完成后先不要着急启动，需要先进行设置，点击CD/DVD，使用IOS映
目录一、模板虚拟机搭建二、克隆虚拟机三、安装jdk四、安装Hadoop五、本地运行模式六、完全分布式：集群纷发脚本scp、rsync、xsync七、ssh无密登录配置八、集群配置九、群起集群十、集群崩溃处理办法十一、历史服务器配置十二、日志聚焦功能设置一、模板虚拟机搭建安装VMware ：注册码可以百度（也可以自己买正版）安装centos：打开VMware>新建虚拟机>选择自定义>
1、首先下载安装虚拟机，具体步骤。（提供一个我下载的5.1.26版本，度盘链接没失效的话可以戳这里，key：t6wp）2、下载系统镜像文件，CentOS-7-x86_64-Minimal-1511.iso（度盘链接，key：2qr0）3、配置虚拟机。 安装好后打开虚拟机，如果没有自动打开，去开始菜单里查找。 （1）配置网络，包括为一会儿即将创建的
转载
2023-08-29 10:22:56
168阅读
本地运行模式1.将压缩包spark-3.0.0-bin-hadoop3.2.tgz上传到虚拟机中2.上传完成后，解压缩到无中文无空格的目录当中tar -zxvf spark-3.0.0-bin-hadoop3.2.tgz3.解压完之后，重命名文件夹mv spark-3.0.0-bin-hadoop3.2/ spark-local4.进入spark-local文件夹目录下使用命令bin/spark-
转载
2023-09-10 11:22:22
206阅读
一、准备环境 1、下载jdk-8u45-windows-x64.exe 安装于D:\Java8 2、修改JAVA_HOME为D:\Java8\jdk1.8.0_453、修改HADOOP_HOME为D:\hadoop2724、搭建Hadoop102 Hadoop103 Hadoop104 三台centos6.5虚拟机 需修改hosts文件192.168.198.134 Hadoop102
192.1
先安装几台虚拟机： 命令：vi /etc/sysconfig/network-scripts/ifcfg-eth0 //配置静态IP和网络连接 ONBOOT=“yes”
BOOTPROTO=“static”
IPADDR=“192.168.110.10”
NETMASK=“255.255.255.0”
GATEWAY=“192.168.110.1”
DNS1=“192.168.110.1
环境说明操作系统：CentOS 8 x86_64 Hadoop版本：2.10.1 节点数：3 服务器规划：node1node2node3199.188.166.111199.188.166.112199.188.166.113NameNode(NN)Secondary NameNodeResourceManager(RM)DataNode(DN)DataNode(DN)DataNode(DN)No
(一) 需要用到的软件virtualbox redhat64(centos7) hadoop-2.7.3.jar jdk8 xshell ftp(我用的是FlashFXP)所需要的软件，最好到官网上去下载，也可以到百度云盘下载：http://pan.baidu.com/s/1nvkDLbV（二）安装配置虚拟机将virualbox安装好后，需要新建一个linux版redhat64的虚拟机，我取名叫m
第一步：启动虚拟机，并新建虚拟机。第二步：创建空白硬盘的虚拟机。第三步:选择Liunx系统类型。（选择安装CentOS 64位，后续安装Hadoop需要64位系统） 第四步：设置虚拟机名称，和虚拟机文件保存路径。 第五步：设置虚拟机文件管理方式第六步：自定义虚拟机硬件。第七步：设置虚拟机内存。第八步：设置虚拟机处理器。（根据本机硬件情况设置个数）第九步：选择安装的CentOS文
转载
2023-07-21 21:57:13
104阅读
# 如何在虚拟机启动Hadoop
## 引言
Hadoop是一个开源的分布式计算框架，用于处理大规模数据集的分布式存储和计算。在许多大数据项目中，使用Hadoop来处理和分析数据是非常常见的。在本文中，我们将介绍如何在虚拟机上启动Hadoop，并解决在此过程中可能遇到的一些实际问题。
## 准备工作
在开始之前，我们需要准备以下工具和环境：
1. 虚拟机软件（例如VirtualBox）：
原创
2023-09-13 05:07:48
267阅读
一：虚拟机安装VMware 创建虚拟机，配置centos7镜像文件，使用命令行模式对虚拟机进行操作，进入到虚拟机之后，使用cd /etc/sysconfig/network-scripts/对网卡设置静态Ip 、网关、DNS、mac地址（桥接模式）,重启网卡：systemctl restart network ,查看ip地址使用ip addr 查看 （配置图形化的时候可以使用 ifconfig查看
虚拟机上Hadoop的安装到启动前言:在一台电脑上利用虚拟机配置Hadoop集群,可以方便我们对Hadoop的了解和使用,这里讲的是从配置网络到完成Hadoop的安装步骤,首先,在网上下载对应的版本,建议不要下载最新的版本,因为最新版本会有一些漏洞和调试不当,应该使用一些最稳定的版本.笔者这里使用的是2.6.5版本,1. 创建虚拟机 由于老版笔记本,配置较差,这里设置的内存为1G,硬盘分配15G,
转载
2023-08-08 08:11:37
150阅读
当前大数据发展越来越快，技术要求也越来越高，岗位需求也越来越多，Hadoop作为大数据技术的基础，会搭建Hadoop大数据平台对于从业人员成为了一个基本的能力，以下介绍两台虚拟机搭建hadoop集群。（一）基于wmware创建虚拟机并安装Centos7操作系统，作为大数据集群的master节点。（1）修改网卡配置文件,不同版本的linux的网卡文件名字（ifcfg-ens33）不同，根据实际情况找
转载
2023-09-22 13:23:39
71阅读
大数据集群之配置虚拟机集群大数据集群指Hadoop集群（HA）本文章是在window平台上安装四个虚拟机作为学习大数据平台的集群前提准备1.安装虚拟机软件VMware，这里提供一个安装教程链接参考 2.获取一个Linux镜像，我这里使用的是CentOS7 64位,提供一个参考链接安装CentOS先创建一个文件夹，方便管理集群 点击左上角文件新建虚拟机，选择典型，下一步 选择自己的虚拟机镜像，下一步
转载
2023-09-25 22:15:16
89阅读
虚拟机搭建hadoop集群的步骤及问题总结1. 总体描述 尝试使用VMware搭建hadoop集群，共设置四台装有Hadoop环境的虚拟机，其中一台设置为主，其余为从，他们都在同一局域网下，网关为192.168.106.2:，各节点具体信息如下：主机名IPNameNodeSecondNameNodeDataNodenode1/hadoop-master192.168.106.200是node219
设置镜像文件（在资源里）：编辑虚拟机设置--》 点击CD/DVD--》右侧连接选择使用ISO映像文件--》选择浏览。把镜像文件的目录（图2）导入进去，点击确定 点击开启虚拟机，来进行操作系统的安装 点击enter 稍等一会，出现这个界面，提示是否检测光盘，点击取消skip，没有鼠标就按下
转载
2023-09-20 10:23:38
0阅读
文章目录一、安装虚拟机和远程连接二、准备工作三、下载安装包四、JDK的安装和配置五、配置SSH（免密码登陆）六、hadoop配置七、格式化Hdfs八、启动hadoop集群九、验证 一、安装虚拟机和远程连接Vmwarecentos 一般步骤可参考其他文章 最小安装可能却很多东西 连接网络xshell和xftp 将网络设置为桥接模式(不是NAT模式)， 使用xshell从本机连接虚拟机，xftp从本
转载
2023-09-09 08:45:39
433阅读
日志采集总结一、日志文件的作用二、常见的日志文件分类三、常见的日志存放位置四、查看方式五、日志消息的级别六、nginx日志的采集举例 一、日志文件的作用1.系统中各个运行消息的文件，不同的日志文件记录了不同类型的信息。 2.通过浏览日志查找关键信息，对系统服务进行调试，判断故障发生的原因。二、常见的日志文件分类内核及系统日志、用户日志、程序日志。其中可以根据主配文件/etc/rsyslog.co
PS：1.参考博主：（感谢博主回答我的疑惑，让我配置成功，非常感谢）2.仅个人学习记录，具体什么还不理解（如有不对望提出，一起进步）3.设置的方法比较笨+小白，步骤繁琐正文：1.准备： （1）机器： 三台Linux虚拟机，CentOS7系统。 
