本次课程介绍一下Putty的安装与使用Windows操作系统和Linux服务器进行通讯，需要使用工具软件，这里我们介绍一下Putty。通过Putty发送SSH命令来完成文件数据交换。使用Putty的理由Putty是linux非常好用的telnet类工具，理由：1．完全免费的telnet和ssh客户端工具2．在9x/NT/2000下运行的非常好3．全面支持ssh1和ssh24．绿色软...
原创
2019-07-31 21:00:37
42阅读
一.三台虚拟机关闭防火墙查看防⽕火墙状态 systemctl status firewalld二.三台机器器关闭selinuxvi /etc/selinux/config三.三台机器免密登录1.配置hostname与IP映射 --上篇文章已经讲过了，不再赘述。2.在所有主机上创建⽬目录并赋予权限 mkdir /root/.ssh chmod 700 /root/.ssh 3.第三步，在三台机器
转载
2021-04-20 21:13:59
297阅读
2评论
安装集群环境： 克隆虚拟机后：1.恢复网卡：vi /etc/udev/rules.d/70-persistent-net.rules删除etho，将eth1改为eth0 2.修改ip：
原创
2022-08-10 17:02:27
82阅读
前言：因项目中需要数据分析，因而使用hadoop集群通过离线的方式分析数据参考着网上的分享的文章实施整合的一篇文章，实施记录 安装流程：1.设置各个机器建的ssh 无密码登陆2.安装JDK3.开始安装配置hadoop4.检查单机版Hadoop5.集群搭建6.测试集群是否搭建成功7.hadoop远程客户端安装配置 准备：分别上台机器：master(hadoop主机)、node1（
文章目录一、安装准备工作二、安装1、修改主机名和hosts2.关闭防火墙3、安装包解压4.配置环境变量5、修改Hadoop配置6、同步slave1节点和slave2节点三、启动准备四、启动访问 一、安装准备工作1、虚拟机准备（centos7）master : 192.168.220.134
slave1 : 192.168.220.135
slave2 : 192.168.220.1362、安装
转载
2023-08-10 11:54:50
69阅读
第一步、设置静态ipCentos：://blog..net/qq_41
原创
2022-03-30 10:21:39
63阅读
第一步、设置静态ipCentos：https://blog.csdn.net/qq_41813208/article/details/101027226Ubuntu：https://blog.csdn.net/qq_41813208/article/details/100718624第二步、修改主机名Centos：vim /etc/sysconfig/network如截图，...
原创
2021-08-07 22:54:28
219阅读
Hadoop介绍： Hadoop是一个由Apache基金会所开发的分布式系统基础架构。 用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。安装三台虚拟设备 在里面我建议大家选择性能稳定的合适的linux版本进行安装，一般要进行初级学习的话，暂时三台虚拟机就够学习使用了。网络ip设置 首先，选择虚拟机为net模式，看准当前网关和虚拟机能分配的网段。
转载
2023-08-21 10:35:01
71阅读
# Hadoop 安装准备实验目的
Hadoop 是一个开源的分布式计算框架，广泛应用于大数据处理。本文将探讨 Hadoop 的安装准备，帮助读者理解实验目的以及如何进行基本设置。我们还将使用代码示例来展示设置过程，最后展示旅行图和类图。
## 实验目的
1. **了解 Hadoop 体系架构**：在进行安装之前，必须了解 Hadoop 的基本组成，包括 HDFS（Hadoop 分布式文件系
简介PuTTY是一个Telnet、SSH、rlogin、纯TCP以及串行接口连接软件。较早的版本仅支持Windows平台，在最近的版本中开始支持各类Unix平台，并打算移植至Mac OS X上。除了官方版本外，有许多第三方的团体或个人将PuTTY移植到其他平台上，像是以Symbian为基础的移动电话。PuTTY为一开放源代码软件，主要由Simon Tatham维护，使用MIT licence授权。
Hadoop集群——（二）作业编写、打包、运行、查看Hadoop集群搭建好后，就可以将MapReduce作业提交到集群上运行了。下面以我自己编写的一个WordCount单词计数的程序为例，介绍一下如何在集群上进行作业的提交和运行。1. 程序编写我写了一个简单的WordCount.java文件，它实现了一个WordCount类，用于对文件中的单词进行计数，代码如下：import java.io.IO
转载
2023-08-29 15:54:49
71阅读
准备搞一个Flink集群计算环境,顺手记一下过程,Flink和Spark一样有三种部署模式，分别是Local,StandaloneCluster和YarnCluster。本文主要是介绍在YarnCluster模式下的环境搭建,最终先跑一个简单的计算文件中单词出现次数的demo,证明YARN集群是没问题可以用的先放一段网上关于YARN的介绍:YARN是资源调度框架、通用的资源管理系统，可以为上层应用
原创
精选
2021-12-10 09:20:58
2229阅读
部署hadoop集群环境前的准备本文使用Linux版本为centos7，准备3个节点，来部署hadoop集群前要做一些准备工作具体分配规划如下所示：| 节点名称 | 节点IP |
| ----------|------------|
| hadoop01 | 192.168.56.10 |
| hadoop02 | 192.168.56.20 |
|
转载
2021-03-03 11:10:24
173阅读
2评论
hadoop安装下载：version-hadoop2.8.5https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-2.8.5/Xshell，mkdir建一文件夹:/usr/hadoopcmd,pscy命令copy文件Xshellcd /usr/hadooptar -zxvf hadoop-2.8.5.t...
原创
2019-08-01 20:08:41
56阅读
单位有一套曙光集群，80多个节点，安装的SUSE10.2，系统比较老，官网有些补丁要授权，安全漏洞多，决定来次整体系统升级，全部换成CentOS6.3。1.一台台的换？会死人，就算安装minimal，也需要20来分钟一台，装还要得配IP，HOSTNAME之类。2.使用kickstart做了个光盘镜像，百度一下很多结果，不做介绍了，试验了一下，相较1，可节约约5分钟。但还是和一台台装，而且要刻盘。3
大家好，今天讲解的是Hadoop安装步骤，内容下：一、前期准备 1、必须要有三台Linux（小编使用的是ubuntu14.04server版，大家也可以使用别的Linux，但三台电脑必须是统一的Linux版本，ubuntu14.04server下载地址[http://releases.ubuntu.com/?_ga=1.129027977.446445887.1487857185]）。 2、小
转载
2023-07-12 15:52:17
89阅读
粗略算算，从上周五到这周二，折腾Hadoop已经三天了。这三天我是过得诚惶诚恐，作为一个学徒，老大虽然没有说啥，但是我恨不得立马完成这些基本的部署工作，感觉拖了好久好久。简单的总结一下，第一天折腾Hadoop单机和伪分布式的安装，第二天在折腾Hive的安装，以失败告终，第三天折腾HBase的集群安装，在主节点上安装成功。分布式实时日志系统（四） 环境搭建之centos 6.4下hbase 1.0.
转载
2023-07-13 14:20:59
64阅读
