hadoop的集群配置中，大部分都用的默认设置，如果想要提高整个集群的性能，可以考虑通过修改配置的方法实现，配置项大部分都配置在这三个文件里：core_site.xml, hdfs_site.xml, mapred_site.xml, 下面将经常会用到的配置项总结如下：（待补充） 官网完整集群配置：2.7.2集群配置core_site.xml fs.default.name（2.x替
转载
2024-10-12 12:55:08
85阅读
1.hadoop安装 目标是为构造一个运行在多台机器上的Hadoop集群提供指南，因此所述的安装均面向多台机器。在单台机器上安装Hadoop非常简单，在获取Hadoop之后（通常是一个压缩包），解压缩到特定目录即可。由于Hadoop是通过ssh服务对多个节点进行管理和同步，因此要求这些节点具有一个相同的帐号，而且Hadoop的部署目录结构都相同，为实现此要求，我们按照以下方式安装Hadoop： （
转载
2024-03-11 11:52:13
174阅读
大数据之配置（hadoop的环境配置一） hadoop的配置：java环境配置，hadoop集群配置，ssh免密配置 1.ssh免密配置什么是ssh？简单说，SSH是一种网络协议，用于计算机之间的加密登录。如果一个用户从本地计算机，使用SSH协议登录另一台远程计算机，我们就可以认为，这种登录是安全的，即使被中途截获，密码也不会泄露。最早的时候，互联网通信都是明文通信，一旦被截获，内容就暴露无疑。1
转载
2023-10-29 10:01:25
88阅读
# 搭建Hadoop集群并修改SSH端口
Hadoop是一种开源的大数据处理框架，能够有效存储和处理大量数据。在搭建Hadoop集群时，SSH（安全外壳协议）是必不可少的，它允许节点之间无密码访问。本文将深入介绍如何修改SSH端口，并附带代码示例。
### 步骤1：安装Java与Hadoop
在搭建Hadoop集群之前，首先需要确保已安装Java环境。可以使用以下命令检查Java是否已经安装
安全外壳协议ssh:secure shell 由 IETF 的网络工作小组（Network Working Group）所制定；SSH 为建立在应用层和传输层基础上的安全协议。SSH 是目前较可靠，专为远程登录会话和其他网络服务提供安全性的协议。利用 SSH 协议可以有效防止远程管理过程中的信息泄露问题。SSH最初是UNIX系统上的一个程序，后来又迅速扩展到其他操作平台。SSH在正确使用时可弥补
转载
2024-10-12 10:50:52
23阅读
准备1.两台处于同一网段的机器，一台作为Master（192.168.31.178），一台作为Slave（192.168.31.92）。2.Master按照上一篇文章完成Hadoop环境的搭建，并完成配置（完成到伪分布式）。3.Slave使用上一篇文章，创建hadoop用户，安装ssh Server以及java环境。网络配置（现在Master上hadoop状态是关闭的）1.Master:sudo
转载
2024-04-16 19:34:09
103阅读
1.本地安装jdk请参考linux安装jdk：juejin.im/post/5bc6f5…2.安装SSH、配置SSH无密码登陆集群、单节点模式都需要用到 SSH 登陆（类似于远程登陆，你可以登录某台 Linux 主机，并且在上面运行命令），一般情况下，CentOS 默认已安装了 SSH client、SSH server检查是否安装了SSHrpm -qa | grep ssh如果返回的结果如下图所
转载
2024-07-26 12:53:58
136阅读
1、 Hadoop 常用端口➢ dfs.namenode.http-address:50070
➢ dfs.datanode.http-address:50075
➢ SecondaryNameNode 辅助名称节点端口号：50090
➢ dfs.datanode.address:50010
➢ fs.defaultFS:8020 或者 9000 hadoop3.x 9870
➢ yarn.res
转载
2023-10-04 11:17:01
1473阅读
SSH免密登录 文章目录SSH免密登录SSH协议简介SSH加密的方式SSH免密登录一: `笨但是较容易理解原理`在Hadoop集群中实现三台机器（bigdata01， bigdata02， bigdata03）的SSH免密登录拓展：`konwn_hosts`的作用以及需要注意的地方：处理一处理二处理三SSH免密登录实现方法二: `ssh-copy-id` SSH协议简介SSH 为 Secure S
转载
2023-12-20 22:59:01
48阅读
# 修改 Hadoop 集群 SSH 端口号
在 Hadoop 集群的部署和维护中，SSH（Secure Shell）是一个必不可少的工具。它允许我们安全地远程访问集群的节点。默认情况下，SSH 使用 22 号端口，但在某些情况下，出于安全考虑，您可能希望更改此端口号。本文将详细介绍如何在 Hadoop 集群中修改 SSH 端口号，并给出具体的代码示例。
## 为什么要修改 SSH 端口号？
问题导读： 1.DataNode的http服务的端口、ipc服务的端口分别是哪个？ 2.NameNode的http服务的端口、ipc服务的端口分别是哪个？ 3.journalnode的http服务的端口、ipc服务的端口分别是哪个？ 4.ResourceManager的http服务端口是哪个？ 5.NodeManager的http服务端口是哪个？ 6.Master的http服务的端口、ipc服务
转载
2024-05-06 10:01:55
179阅读
服务端（必须）1.安装ssh服务端sudo apt-get install openssh-server；2.确认sshserver是否启动了ps -e | grep ssh如果只有ssh-agent那ssh-server还没有启动，需要/etc/init.d/ssh start，如果看到sshd那说明ssh-server已经启动了3.启动sshserver/etc/init.d/ssh star
转载
2023-11-26 16:58:05
79阅读
本文将分享。
原创
2024-01-05 09:34:21
124阅读
首先修改配置文件 vi /etc/ssh/sshd_config 找到#Port 22一段，这里是标识默认使用22端口，修改为如下： Port 22 Port 50000 然后保存退出 执行/etc/init.d/sshd restart 这样SSH端口将同时工作与22和50000上。 现在编辑防火墙配置：vi /etc/sysconfig/iptables 启用50000端
转载
2024-08-05 20:49:16
868阅读
集群设置免密登录克隆node1虚拟机的前置条件：node1虚拟机存在且处于关闭状态1.克隆出node2虚拟机1.node1虚拟机: 右键 -> "管理" -> "克隆"2.图形化弹窗中: "下一页"->"下一页"->选择"创建完整克隆"再"下一页"->填写"node3和对应位置"再点击"完成"3.node3虚拟机: 右键 -> "设置" -> "NAT模式
转载
2024-10-12 10:48:03
146阅读
# 如何修改 Hive 的 Hadoop 配置端口
Hive 是一个构建在 Hadoop 之上的数据仓库基础设施，提供数据分析的能力。在使用 Hive 之前，可能需要根据具体需求调整其底层 Hadoop 的配置端口。接下来，我们将详细介绍如何修改 Hive 中的 Hadoop 配置端口。
## 1. 为什么需要修改端口?
在某些情况下，默认的 Hadoop 端口可能会由于以下原因需要进行修改
原创
2024-09-11 07:20:54
170阅读
ssh的配置包括，端口设置，登录用户控制ssh配置文件：/etc/ssh/ssh_config/etc/ssh/sshd_config更改/etc/ssh/sshd_config 配置文件的，port 就能改变端口，然后重启服务生效。其他还有控制登录用户，加密传输，等，配置方式。资料中有
原创
2015-07-28 12:15:36
881阅读
安装防火墙 sudo yum -y install firewald sudo systemctl start firewald.service sudo firewall-cmd --list-all 修改ssh端口 1 sudo vim /etc/ssh/sshd_config 改port 为其他端口 2 cp /usr/lib/firewalld/services/ssh.x...
转载
2019-10-23 23:11:00
254阅读
2评论
感觉这个BLOG程序已经不能满足对BLOG的需要，暂时转到百度下等有了更好的再安定下来http://hi.baidu.com/zq500480/blog/item/b7cf89d129bb67de572c84c8.html
原创
2010-07-16 17:18:15
561阅读
1评论
为了防止外界进行ssh端口攻击，需要修改ssh端口号。#vim /etc/ssh/sshd_config port 33#service sshd restart
原创
2014-07-17 13:51:41
1006阅读
