一、Hadoop介绍 Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。二、Hadoop集群简介 HADOOP集群具体来说包含两个集群：HDFS集群和YARN集群，两者逻辑上分离，但物理上常在一起。 HDFS集群负责海量数据的存储，集群中的角色主要有：NameNode、DataNode、S
转载
2023-07-24 11:02:30
39阅读
文章目录前言一、服务器准备1、服务器列表二、安装包准备三、安装步骤第一步：上传解压2 配置java环境第二步：vim hadoop-env.sh第三步：在 Linux 中配置 Hadoop 环境变量第四步：验证第五步：修改hosts第六步：设置 SSH 免密码登录第七步：配置HDFS第八步：配置NameNode节点第九步：修改hostName第十步：格式化 NameNode 以及启动 HDFS
转载
2023-08-10 23:41:35
111阅读
一、虚拟机安装与配置 注意，本文不适合小白操作，查看至少需要一点儿linux操作基础，因为其中有很多命令并没有写出来。比如使用vi修改文件后，需要使用:wq来保存并退出。安装Hadoop集群时需要多个服务器，所以需要安装多个虚拟机，请自行安装。配置服务器的hosts文件,就是将多个服务器之间建立域名配置(这样就可以使用域名来代替ip使用)。vi /etc/hosts最后添加如下内容(左边为每个服务
转载
2023-07-25 20:57:22
75阅读
配置远程登录1） 在自己的linux机上搭好hadoop2） 修改linux的hosts文件# vim /etc/hosts在hosts文件的最下面一行添加，格式为：第一部份：网络IP地址。第二部份：主机名.
转载
2023-07-13 13:33:58
58阅读
二、Hadoop教程之分布式环境集群搭建讲解（详细）前言1. 布式环境部署（1） 准备工作（2） 配置工作（3） 启动工作（4） 查看集群 前言本文只介绍安装部署Apache Hadoop2.x版本，后续文章将来介绍Hadoop2.x的架构组成、各模块协同工作原理、技术细节。安装不是目的，通过安装认识Hadoop才是目的。1. 布式环境部署分部式是真正利用多台 Linux 主机来进行部署 Had
转载
2024-02-03 06:24:56
76阅读
前两天看到有人留言问在什么情况下需要部署hadoop，我给的回答也很简单，就是在需要处理海量数据的时候才需要考虑部署hadoop。关于这个问题在很早之前的一篇分享文档也有说到这个问题，数据量少的完全发挥不了hadoop的优势，所以也没必要部署。但对于正在学习hadoop的朋友来说，hadoop运行环境部署真的是件非常头疼的事情。计划在接下来的一段时间里，以我之前学习研究大快搜索DKHadoop时经
转载
2023-08-18 20:49:06
44阅读
尊敬的公司领导：目前由电子商务团队管理公司所有企业网站。现电子商务名下管理6台服务器，存放着12个公司企业站，服务器环境全部为linux操作系统。因为网站架构需要扩充，现服务器已出现严重不足的状况。一、机房6台服务器使用情况服务器序列号操作系统服务对象Cpu硬盘内存备注Dell_R4107SCZ8X1Centos6.4企业网+数据库Xeon(R)600*28G4个企业网站Dell_R4109RCZ
原创
2013-09-22 15:53:02
546阅读
EXEC sp_addlinkedserver @server='172.16.**.**',--被访问的服务器别名 @srvproduct='', &nb
原创
2012-11-15 09:06:41
539阅读
随着GPU服务器的使用，往往数据存储空间会消耗迅速，尤其是对于空间归纳能力不好、经常存储中间过程网络模型的深度学习萌新，除了定期归置清理文件，增加硬盘也是需要掌握的一项技能。 首先将硬盘安装进机器，并连接好接口和连线，然后通过以下步骤进行新硬盘的配置：硬盘分区通过以下指令显示挂载到系统的硬盘：df -h通过以下指令查看所有连接的系统的硬盘：sudo fdisk -l相比于前一条指令，后者可以查询到
转载
2023-12-15 20:26:58
438阅读
【服务器数据恢复介绍】
一台服务器在正常运行过程中因为未知原因忽然崩溃，管理员对服务器进行检查发现有一块硬盘离线，只需更换故障硬盘即可，于是管理员对服务器进行更换硬盘并同步数据，但是在更换新硬盘后进行数据同步的过程中服务器中的另一块硬盘又忽然掉线，如此一来客户的服务器彻底瘫痪了，逻辑盘无法挂载，进入服务器的管理界面查看发现有两块硬盘的状态为故障脱机【服务器数据恢复备份】
&
原创
2024-06-19 14:59:59
151阅读
1、下载hadoop这里搭建最新的hadoop3.3.0版本的集群，进入hadoop官网https://hadoop.apache.org/releases.html找到要下载的版本，我这里选择的是当前最新的3.3.0版本。进入下载页面，选择清华大学的镜像（速度快）进行下载。wget https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common
转载
2023-09-26 15:52:43
132阅读
Hadoop-3.2.0 环境搭建工作环境：CentOS7 工作时间：2019/02/17-2019/02/20 安装路径：/opt/hadoop-3.2.0/ 注：本文在没有Linux和服务器集群的基础之上自行摸索，所以可能存在很多纰漏。如果想学习Hadoop-3.2.0分布式的搭建方法，可以完全参照2.7版本的搭建方法，唯一的不同是在指定datanode的文件从3.x版本开始从slave改为w
转载
2023-07-24 14:03:39
43阅读
服务器集群就是指将很多服务器集中起来一起进行同一种服务，在客户端看来就像是只有一个服务器。集群可以利用多个计算机进行并行计算从而获得很高的计算速度，也可以用多个计算机做备份，从而使得任何一个机器坏了整个系统还是能正常运行。 集群（cluster）技术是一种较
转载
2023-08-04 11:15:13
62阅读
一、虚拟机安装与配置 注意，本文不适合小白操作，查看至少需要一点儿linux操作基础，因为其中有很多命令并没有写出来。比如使用vi修改文件后，需要使用:wq来保存并退出。安装Hadoop集群时需要多个服务器，所以需要安装多个虚拟机，请自行安装。配置服务器的hosts文件,就是将多个服务器之间建立域名配置(这样就可以使用域名来代替ip使用)。vi /etc/hosts最后添加如下内容(左边为每个服务
转载
2024-05-28 23:23:30
60阅读
Hadoop集群搭建（三台Linux服务器）搭建之前注意的几点问题环境以及版本基本命令Linux环境准备首先安装Hadoop配置集群分发脚本克隆配置好的机器Hadoop集群配置第一步 配置其中一台Hadoop，我选的是hadoop191第二步 分发hadoop配置文件第三步 查看分发情况第四步 配置ssh第五步 配置群起集群第六步 启动集群 搭建之前注意的几点问题根据尚硅谷老师的讲课进行的总结，
转载
2023-07-13 16:38:28
102阅读
一、高可用HDFS 1、HDFS基础结构 2、高可用HDFS架构 主备切换控制器 ZKFailoverController：ZKFailoverController 作为独立的进程运行，对 NameNode 的主备切换进行总体控制。ZKFailoverController 能及时检测到 NameNode 的健康状况，在主 NameNode 故障时借助 Zoo
转载
2023-07-12 11:38:12
114阅读
【服务器数据恢复介绍】 北京某公司的一台服务器在正常运行过程中因为未知原因忽然崩溃，管理员对服务器进行检查发现有一块硬盘离线，只需更换故障硬盘即可，于是管理员对服务器进行更换硬盘并同步数据，但是在更换新硬盘后进行数据同步的过程中服务器中的另一块硬盘又忽然掉线，如此一来客户的服务器彻底瘫痪了，逻辑盘无法挂载，进入服务器的管理界面查看发现有两块硬盘的状态为故障脱机【服务器数据恢
转载
2023-12-22 20:55:26
37阅读
1. 规划功能HOSTNAMEIP说明MasterHDM01192.168.1.1Namenode 兼datanode SlaveHDS02192.168.1.2Datanode SlaveHDS03192.168.1.3Datanode ClientHDC04192.168.1.4HADOOP客户端(H
转载
2023-12-25 13:40:18
36阅读
这里写目录标题1.日志采集介绍1.1 浏览器的页画日志采集1.1.1 页面浏览日志采集1.1.2 页面交互日志采集1.1.3 页面日志的服务器端清洗和预处理2.无线客户端的日志采集2.1 无线客户端页面事件2.2 控件点击及其他事件2.3 H5 & Native 日志统一2.4 特殊场景2.5 设备标识参考资料 1.日志采集介绍日志采集是作为数仓数据采集的部分，是大数据体系构建中的重要一
转载
2023-09-01 10:46:34
13阅读
修改主机名（主机默认是带_的。如果不修改，远程hdfs-client通过主机名访问时会报java.lang.IllegalArgumentException:Does not contain a valid host:port）
1.--查看主机名
hostname
2.--设置当前主机名为master
hostnamectl set-hostname maste
3.--重启
rb
转载
2023-08-13 13:20:55
0阅读
