1.准备Linux环境
1.0先将虚拟机的网络模式选为NAT
1.1修改主机名
vi /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=myvm ### 1.2修改IP
两种方式：
第一种：通过Linux图形界面进行修改
进入Linux图形界面 -> 右键点击右上方的两个小电脑 -> 点击Edit connections
Hadoop体系概述Hadoop是Apache组织的一个分布式框架，是Google的云计算平台的开源实现。主要由以下几个子项目构成：（1）Hadoop Common：原来的Hadoop Core，是Hadoop项目的计算核心，其他的子项目都是在这个核心的基础上发展的。（2）Avro：Hadoop的RPC（Remote Procedure Call ，远程过程调用）方案。（3）Chukwa：一个用来
转载
2023-07-09 12:14:33
124阅读
文章目录Hadoop搭建流程第一步：安装jdk第二步：克隆虚拟机第三步：虚拟机连接界面第四步：配置分发脚本第五步:配置各个主机、账户免密登录第六步：集群配置信息第七步：分发配置第八步：配置works1.配置works2.使用`xsync`分发同步配置第九步：初始化第十步：添加windows的hosts映射第十一步：访问第十二步：历史服务器第十三步：hdfs相关操作测试第十四步：日志聚集第十五步：
转载
2023-09-14 15:19:05
62阅读
文章目录前言一、配置无密钥登录1.生成密钥文件2.将公钥信息复制到授权文件3.添加权限4.测试二、安装Hadoop1.上传安装包2.解压3.重命名4.配置系统变量4.1 配置4.2 测试5.修改~/.bashrc6.配置Hadoop环境变量7.配置HDFS7.1 core-site.xml7.2 hdfs-site.xml7.3 workers8.配置YARN8.1 mapred-site.xm
转载
2023-08-30 15:40:54
74阅读
hadoop的安装与配置一：配置Linux免密登录，安装hadoop前要先配置Java 环境变量，点我的主页有详细的配置步骤，这里就不做详细的讲解。 二：下载地址为：链接https://hadoop.apache.org/. 一： 注意：不推荐下载太高版本①：关闭防火墙–永久关闭 三台都要操作，关闭防火墙为了后续登录50070端口systemctl stop firewalld
systemctl
转载
2023-07-12 11:22:35
91阅读
Hadoop简介Hadoop是Apache旗下的一套开源分布式计算平台。 应用范围：利用服务器集群，根据用户的自定义业务逻辑，对海量数据进行分布式处理。 核心组件：HDFS（分布式文件系统）高容错性、高伸缩性等允许用户将Hadoop部署在低廉的硬件上YARN（运算资源调度系统）MAPREDUCE（分布式运算编程框架）允许用户在不了解分布式系统细节情况下开发并行应用程序。准备Linux环境虚拟机克隆
转载
2023-09-01 10:09:50
132阅读
*0.前言*
CDH搭建方式是使用Cloudera Manager进行一键式搭建hadoop集群，Cloudera Manager里面集成了hadoop组件的管理功能，并且提供了hadoop组件的静态资源parcel，可以实现一键安装、配置，统一管理。非常节省时间。 不推荐初学者学习CDH方式搭建，初学者建议以apache传统方式搭建，方便学习hadoop组件的工作原理。*1.前置操作*
准备了四
转载
2023-07-13 11:38:06
206阅读
文章目录一、下载安装所需的资源二、配置1、将下载的hadoop文件解压2、配置环境变量在path中加入 %HADOOP_HOME%\bin3、文件配置3.1、D:\hadoop\hadoop-3.0.2\etc\hadoop”下的core-site.xml文件3.2、D:\hadoop\hadoop-3.0.2\etc\hadoop”目录下的mapred-site.xml3.3、D:\hadoo
转载
2023-07-24 15:53:41
167阅读
实验环境： 虚拟化软件：VMware® Workstation 16 Pro 镜像：ubuntu-22.04.2-live-server-amd64.iso Hadoop版本：hadoop-3.3.4.tar.gzubuntu镜像链接hadoop文件链接配置虚拟机 （1）新建虚拟机，选择实验镜像【ubuntu-22.04.2-live-server-amd64.iso】 （2）调整硬件配置，配置如
转载
2023-09-20 10:42:36
278阅读
Hadoop环境搭建及使用（超详细）伪分布式linux搭建设置网络IP和虚拟机网关克隆两个Linux，如果不会自行百度，接下来是克隆之后的配置第一步需要修改主机名第二步配置本机HOST映射第三步需要修改网卡信息第四步需要配置IP关闭防火墙并开机不启动，每一个机器都要执行环境配置SSH->scp指令配置JDK和hadoop环境变量配置,当然之前要传输JDK和HADOOP到linux其中一台J
转载
2023-09-14 15:18:28
66阅读
你是否有过网盘下载速度只有十几KB，时不时出现网盘的文件被删除的问题，不如自己搭建一个云网盘吧，只需要一云服务器，即可搭建一个跟某度云一样的云盘。可以自由下载，不限制网速，随时都可上传下载。这篇文章我将介绍使用可道云kodbox 搭建一个自己的云网盘，操作简单，小白用户也能完成，下面就给我一起尝试一下吧！一、云服务器相关设置有了云服务器之后，就需要开通相关的端口，轻量应用服务器是防火墙
转载
2023-08-08 14:49:55
783阅读
环境：centos 6.5 (ip：192.168.80.100、192.168.80.101)jdk 1.7hadoop 2.8.4 ip 进程 192.168.80.100(master) namenode 192.168.80.101(slave)
原创
2023-03-17 16:09:00
91阅读
文章目录一、修改核心配置文件二、安装Hadoop三、配置Hadoop3.1 创建准备文件夹3.2 配置core-site.xml文件3.3 配置hdfs-site.xml文件3.4 配置mapred-site.xml3.5 配置yarn-site.xml文件3.6 设置主从服务器3.7 配置hadoop-env.sh、yarn-env.sh的JAVA_HOME四、免密登录4.1 为每个节点分别产
转载
2023-11-12 09:11:58
76阅读
那么只需要做红色的步骤，步骤很少，并且有具体完成的图和验证。1.虚拟机准备，修改虚拟机配置。如果没有vim文件编辑就用vi编辑，一样的，或者直接下载一下 yum -y install vim 。[qurui@hadoop102 ~]#vim /etc/sysconfig/network-scripts/ifcfg-ens33BOOTPROTO=static #
转载
2023-07-24 09:21:21
143阅读
一、Hadoop集群环境搭建配置1、前言Hadoop的搭建分为三种形式：单机模式、伪分布模式、完全分布模式，只要掌握了完全分布模式，也就是集群模式的搭建，剩下的两种模式自然而然就会用了，一般前两种模式一般用在开发或测试环境下，Hadoop最大的优势就是分布式集群计算，所以在生产环境下都是搭建的最后一种模式：完全分布模式。2、硬件选择须知：分布式环境中一个服务器就是一个节点节点越多带来的是集群性能的
转载
2023-09-14 14:48:39
620阅读
目录目录目录一、什么是大数据？二、什么是hadoop？1.Hadoop核心组件2.HDFS架构3.MapReduce 3.Yarn架构 编辑 三、Hadoop的集群模式1.完全分布模式 2.伪分布模式3.独立模式四、Hadoop创建伪分布式模式1.获取安装Hadoop2.修改Hadoop配置文件3.启动hadoop4.运行WerdCount测试五、完全分布式
转载
2023-10-06 21:00:06
74阅读
自己做一个云手机，开源的 Android In Container 解决方案前言前提正文总结 前言市面上已经存在很多云手机厂商如多多云、雷电云、河马云手机等，价格从几十到上百元每月一台。价格还好说，但设备运行稳定性、可靠性、数据安全性全部依赖第三方厂商，注定不能进行敏感性操作或部署对安全可靠高要求的企业级服务。 本文介绍一种开源的 AIC (Android In Container) 解决方案
转载
2023-09-27 09:46:34
1609阅读
在进行私有云搭建之前，我们首先需要了解一下什么是Kubernetes（K8S）。Kubernetes是一个开源的容器编排引擎，它可以帮助我们自动化部署、扩展和管理应用程序容器。使用Kubernetes可以帮助我们更高效地管理云端资源。
下面将详细介绍如何搭建私有云，并且通过Kubernetes来管理这个私有云环境。
### 私有云搭建教程
首先我们需要明确搭建私有云的步骤，可以通过以下表格展
原创
2024-05-30 10:26:01
180阅读
阿里云搭建Hadoop集群是一个常见的需求，可以提供高性能、高可用性的大数据处理平台。下面我将指导你如何在阿里云上搭建Hadoop集群。
首先，我将整个流程分为以下几个步骤，并给出每个步骤需要做的事情和相应的代码示例：
步骤 | 操作
---|---
1 | 创建多台云服务器作为集群节点
2 | 配置Hadoop环境
3 | 启动Hadoop集群
**步骤1：创建多台云服务器作为集群节点**
原创
2024-04-28 11:12:59
173阅读
1 前言 在讲述Hadoop集群搭建之前，首先要了解Hadoop和集群两个名词，Hadoop是由Apache基金会开发的分布式系统基础架构，简单理解就是大数据技术应用的基础。集群可以理解为多台装有hadoop的...
转载
2021-06-06 22:20:16
372阅读
2评论
