wx584411d751930的博客_E-Hadoop

Hadoop伪分布式 => 配置日志聚集

日志聚集：将程序运行的log文件（日志信息），上传到HDFS系统上，可以通过网页浏览注意：开启日志聚集功能，需要重新启动 NodeManager, ResourceManager, HistoryManagersbin/mr-jobhistory-daemon.sh stop historyserversbin/yarn-daemon.sh stop nodemanagersbi...

Hadoop

伪分布式

配置日志聚集

hadoop

jar

原创 2023-04-24 11:26:10 46 阅读

Hadoop伪分布式 => 启动YARN并运行MR程序

配置集群：cd /opt/module/hadoop-2.9.2/etc/hadoopsudo vim yarn-env.sh将 # export JAVA_HOME=/home/y/libexec/jdk1.6.0/注释打开修改为export JAVA_HOME=/opt/module/jdk1.8.0_241sudo vim yarn-site.xml在<con...

伪分布式

启动YARN并运行MR程序

Hadoop

hadoop

xml

原创 2023-04-24 11:26:04 74 阅读

Hadoop_HDFS_shell命令

cd /opt/module/hadoop-2.9.2/常用命令操作：1）启动hadoop集群hadoop101：sbin/start-dfs.shhadoop102：sbin/start-yarn.sh2）-help：输出命令使用参数hadoop fs -help

Hadoop

HDFS

shell命令

hadoop

删除文件

原创 2023-04-24 11:25:33 275 阅读

Hadoop完全分布式 => 集群时间同步

1.crontab定时任务cd /opt/module/hadoop-2.9.2/crontab -e第一次执行命令的时候分

Hadoop

完全分布式

集群时间同步

ubuntu

时间服务器

原创 2020-05-03 19:35:20 61 阅读

Hadoop完全分布式 => 集群ssh配置与群起

ssh配置cd /root/.ssh/ (注意如果没有.ssh文件，执行下命令ssh会自动生成)ssh-keygen -t rsa一

Hadoop完全分布式

集群ssh配置

集群群起

hadoop

hdfs

原创 2020-04-19 20:03:50 23 阅读

Hadoop完全分布式 => 集群配置单点启动

1.集群部署规划 hadoop101 hadoop102 hadoop103 HDFS NameNode DataNode DataNode SecondaryNameNode DataNode YARN NodeManager ResourceManager NodeManager NodeManager ...

Hadoop完全分布式

集群配置单点启动

hadoop

xml

JAVA

原创 2020-04-12 10:14:19 80 阅读

Hadoop完全分布式 => SCP，RSYNC，XSYNC案例

1. scp（secure copy）安全拷贝scp命令将hadoop101内

SCP

RSYNC

XSYNC

hadoop

vim

原创 2020-04-11 20:50:35 29 阅读

Hadoop完全分布式 => 虚拟机环境准备

首先将hadoop101克隆一份保存起来打开hadoop101sudo rm -r /opt/module/hadoop-2.9.2重新解压：tar -zxvf /opt/software/hadoop-2.9.2.tar.gz -C /opt/module然后更改hosts文件sudo vim /etc/hosts然后关闭虚拟机，根据hadoop101...

Hadoop

完全分布式

虚拟机环境准备

hadoop

vim

原创 2020-04-06 14:01:13 51 阅读

Hadoop伪分布式 => 配置历史服务器

配置：cd /opt/module/hadoop-2.9.2sudo vim etc/hadoop/mapred-site.xml在<configuration></configuration>中间加入下面内容<property> <name>mapreduce.jobhisto...

Hadoop

伪分布式

配置历史服务器

hadoop

mapreduce

原创 2020-04-06 10:53:30 99 阅读

Hadoop伪分布式 => 启动HDFS并运行MR程序

配置：cd /opt/module/hadoop-2.9.2/sudo rm -rf datasudo vim etc/hadoop/core-site.xml在<configuration></configuration>中间加入下面内容<property> ...

Hadoop环境搭建

伪分布式

启动HDFS并运行MR程序

hadoop

hdfs

原创 2020-04-02 23:13:44 51 阅读

Hadoop本地模式 => GREP、WordCount官方案例

GREPcd /opt/module/hadoop-2.9.2/mkdir inputcp etc/hadoop/*.xml inputbin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.9.2.jar grep input output 'dfs[a-z.]+'cat output/*// 1 dfs...

Hadoop环境搭建

GREP、WordCount

本地模式

hadoop

mapreduce

原创 2020-03-31 16:11:05 59 阅读

Hadoop环境搭建一 => Hadoop安装

在虚拟机的/opt目录下新建两个文件夹 software，modulesudo mkdir softwaremodule改一下所有者和所有者的组sudo chown hyn:hyn software/ module/将下载好的hadoop-2.9.2.tar.gz放到software目录下安装Hadoop:解压：tar -zxvf hadoop-2.9.2.tar.gz ...

Hadoop安装

hadoop

vim

保存文件

原创 2020-03-30 21:43:10 54 阅读

Hadoop环境搭建一 => JDK安装

在虚拟机的/opt目录下新建两个文件夹 software，modulesudo mkdir softwaremodule改一下所有者和所有者的组sudo chown hyn:hyn software/ module/将下载好的jdk-8u241-linux-x64.tar.gz放到software目录下安装jdk:解压：tar -zxvf jdk-8u241-linux-...

Hadoop环境搭建JDK安装

JAVA

linux

java

原创 2020-03-26 08:06:40 53 阅读

Hadoop环境搭建一 => 虚拟机准备

一、虚拟机安装这个请自行百度二、linux系统下载进入阿里去网站https://developer.aliyun.com/mirror/点击OS镜像，这里我选的ubuntu系统，版本看你电脑内存即可。注意：最重要的是获取下载地址，然后用迅雷下载会快很多。https://mirrors.aliyun.com/ubuntu-releases/19.10/下载.torrent文件用迅雷打开就可以用迅雷下

Hadoop

环境搭建

虚拟机准备

ubuntu系统

迅雷

原创 2020-02-23 15:26:13 58 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

wx584411d751930的博客