【汇智学堂】-Hadoop分布式集群(查看网络是否正常) 原创 wx622c0209dfb71 2019-07-31 13:13:11 ©著作权 文章标签 Hadoop集群搭建环境 IP 其他 文章分类 Windows Server 服务器 ©著作权归作者所有:来自51CTO博客作者wx622c0209dfb71的原创作品,请联系作者获取转载授权,否则将追究法律责任 查看网络是否正常 命令:ifconfig 出现图示情况,说明正常。(你的IP可能和图示不同) 赞 收藏 评论 分享 举报 上一篇:【汇智学堂】-Hadoop分布式集群(配置hosts列表) 下一篇:【汇智学堂】-Hadoop分布式集群-Cent OS 7.5修改主机名 提问和评论都可以,用心的回复会被更多人看到 评论 发布评论 全部评论 () 最热 最新 相关文章 集群及分布式部署 HP(High Performance):高性能。负载均衡(Load Balance,LB):采用多节点负载分担的方式工作大规格集群的总体结构用户通过客户端(client)访问网络上的服务,客户端会使用DNS查询找到它要访问的主机。DNS服务是一般使用轮询的方法,通过返回多个IP地址,将客户端的访问流量分散不同的IP地址上。有的DNS服务也可以根据用户的来源返回不同的IP,以将用户分配到就近的数据 客户端 负载均衡 IP Redis分布式锁查看机制与实现解析 分布式系统中,锁的使用是保证资源一致性与并发控制的重要手段。Redis作为一个高效的内存存储工具,通过其简单的命令操作和快速响应机制,被广泛用于实现分布式锁。本文将深入探讨Redis中查看分布式锁的机制,包括如何查询锁的状态、使用何种命令进行锁操作,以及如何确保锁的有效性和正确性。同时,本文将结合代码示例详细分析Redis分布式锁的实现原理和优化方法。1. 分布式锁的基本概念分布式锁是在分布式环境 分布式锁 Redis 客户端 分布式系统和集群的区别是什么 分布式系统(Distributed System)和集群(Cluster)是两个经常被提及的计算机科学概念,它们在提高系统性能和可靠性方面都扮演着重要角色,很多同学会觉得这俩个是同一种东西,但事实上它们之间有着本质的区别。分布式系统是由一组通过网络进行通信、为了完成共同的任务而协调工作的计算机节点组成。在分布式系统中,这些节点可能是物理上分散的,它们之间通过消息传递进行通信和协调。分布式系统的目的 数据中心 分布式系统 数据 【汇智学堂】-Hadoop分布式集群-Putty介绍 Hadoop分布式集群-Putty介绍本次课程介绍一下Putty的安装与使用Windows操作系统和Linux服务器进行通讯,需要使用工具软件,这里我们介绍一下Putty。通过Putty发送SSH命令来完成文件数据交换。使用Putty的理由Putty是linux非常好用的telnet类工具,理由:1.完全免费的telnet和ssh客户端工具2.在9x/NT/2000下运行的非常好3... Hadoop分布式集群 分布式集群 Hadoop 数据交换 其他 【汇智学堂】-Hadoop分布式集群(配置hosts列表) Xshell联机成功。su rootvim/etc/hosts输入:192.168.52.128 master说明:IP改成你自己的,主机名也是。:wq退出ping master出现上面的界面说明成功了。 配置hosts列表 IP vim 主机名 其他 【汇智学堂】-Hadoop分布式集群安装验证-2(WEB UI查看) 在HadoopMaster上启动Firefox浏览器,输入http://master:50070/,检查NameNode和DataNode是否正常,如下图则为正常。 其它 【汇智学堂】-Hadoop分布式集群(安装JDK(Linux版本)) 安装JDK(Linux版本)下载JDKhttps://www.oracle.com/technetwork/java/javase/downloads/jdk12-downloads-5295953.htmlcmd,进入目录后,执行pscp命令将windows硬盘上的安装包,复制到linux系统上。Xshell上确认一下:Xshell当前目录,解压安装切换普通用户leilei... 安装Linux版JDK java bash 当前目录 其他 【汇智学堂】-Hadoop分布式集群-关闭Linux防火墙 查看Linux的版本:cat /etc/redhat -release使用systemctl status firewalld查看防火墙的状态,如下(默认开启)[root@192 leilei]$ systemctl status firewalld// 关闭服务[root@192 leilei]$ systemctl stop firewalld// 关闭开机自动开启FireWa... Hadoop集群搭建 其他 【汇智学堂】-Hadoop分布式集群安装验证-3(检查YARN) 在HadoopMaster上启动Firefox浏览器,输入http://master:18088/,检查YARN是否正常,如下图则为正常。 其它 【汇智学堂】-Hadoop分布式集群准备工作-8(hadoop安装) hadoop安装下载:version-hadoop2.8.5https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-2.8.5/Xshell,mkdir建一文件夹:/usr/hadoopcmd,pscy命令copy文件Xshellcd /usr/hadooptar -zxvf hadoop-2.8.5.t... hadoop安装 hadoop apache root权限 其他 【汇智学堂】-Hadoop分布式集群(CentOS 7.5配置时钟同步) CentOS 7.5配置时钟同步1、配置时钟同步:安装ntpdate2、设置本机时区/usr/bin/timed CentOS7.5配置时钟同步 CentOS 【汇智学堂】-Hadoop分布式集群安装验证-1(jps验证) 启动Hadoopcd /home/leilei/hadoop-2.8.5 sbin/start-dfs.sh查看进程是否启动 输入sudo jps验证sbin/start-yarn.sh 输入sudo jps验证是否成功 如果出现ResourceManager、Jps、NameNode和SecondaryNameNode,表示主节点进程启动成功。 hadoop Hadoop 【汇智学堂】-Hadoop分布式集群准备工作-5(安装Xshell) 本次课程介绍Hadoop分布式集群中的SSH客户端传输软件安装后,我们安装XshellXshell是一款强大的安全终端模拟软件,支持SSH1、SSH2以及Microsoft Windows平台的TELNET协议。Xshell可以在Windows界面下访问远端不同系统下的服务器,进而远程控制终端。安装Xshell之后,就可以通过Xshell在Windows本地操作来远程控制Linux服务器了。安... Hadoop集群准备5-安装Xshell Windows 服务器 远程控制 其他 【汇智学堂】分布式部署使用Redis Set:redis.windows.confOpen and edit by Ideaclient connect again.success! redis 【汇智学堂】-Hadoop分布式集群准备工作-14(创建数据目录) mkdir /home/leilei/hadoopdata从节点同上。 创建数据目录 hadoop 其他 【汇智学堂】-Hadoop分布式集群-Cent OS 7.5修改主机名 确定版本是否正确:[root@node1 ~]# cat /etc/redhat-releaseCentOS Linux release 7.5.1804 (Core)确定版本后,Centos7特地添加了hostnamectl命令查看和修改:查看和修改:Hostnamectl切换root用户:su root修改成master:hostnamectl set-hostname mast... CentOS7.5修改主机名 root用户 重新连接 Core 其他 【汇智学堂】-Hadoop分布式集群准备工作-3(虚拟机安装) 本次课程介绍Hadoop分布式集群中的虚拟机安装。准备工作见上一篇成功安装云平台软件VMware之后,就可以在这个云平台上虚拟化服务器了,进而在这些服务器上安装操作系统。每个虚拟主机所需要的操作系统,可以是Windows或Linux系统。建议使用Linux系统。我们以CentOS 6.5为例,图解安装过程。CentOS 6.5安装过程VMware准备工作做完后。选择编辑虚拟机设置,进行操... Hadoop集群准备3-虚拟机安装 云平台 安装过程 服务器 其他 【汇智学堂】-Hadoop分布式集群(putty上传JDK到linux服务器) Xshell:建新目录:mkdir /usr/java进入目录: cd /usr/java查看文件:lscmd进入命令行窗口:进入pscp.exe所在的目录:输入:pscp C:\Users\soft\Desktop\训练\技术资料-java环境搭建\13补充\jdk-10.0.2_windows-x64_bin.exe root@192.168.52.128:/usr/java见... putty上传JDK到服务器 java html 技术资料 其他 【汇智学堂】-Hadoop分布式集群准备工作-7(免秘钥登录设置) 免秘钥登录配置Xshell:root账户登录HadoopMaster修改hosts:192.168.52.128 master192.168.52.130 slave192.168.52.129 slave1输入命令ping slaveping slave1在HadoopSlave及HadoopSlave1执行同样的操作。cat /etc/hosts验证一下:生成秘钥:s... 免秘钥登录设置 服务器 IP 其他 【汇智学堂】-Hadoop分布式集群准备工作-1(安装云平台软件VMware) 本次课程介绍Hadoop分布式集群中的云平台。一、了解云平台朋友们一定听说过阿里云、百度云、京东云、华为云等云产品信息,这就是我们常说的云计算。大数据和云计算之间之间的关系:大数据平台软件需要部署在云平台提供的服务器主机上,云计算是大数据的坚实基础。有了云计算,大数据平台才可以稳定、快速地运行。云产品会为客户提供灵活的服务器主机配置方案。以阿里云为例,客户可以根据自己的需求,在阿里云上选择自... Hadoop集群准备-1安装云平台 云平台 服务器 云计算 其他