诗水人间的博客_大数据

ubuntu19.04系统搭建hadoop2.7环境

为了方便先给root用户设置首先ctrl+alt+t 打开命令行

hadoop

配置环境变量

解压缩

原创 2022-03-30 10:33:25 70 阅读

hadoop开发中常用的端口号有那些？

50070 查看hdfs文件系统的8088 查看MapReduce

mapreduce

文件系统

hdfs

其他

原创 2022-03-30 10:31:35 45 阅读

NameNode不能一直格式化的原因

当执行hdfs namenode -format 对data文件夹格式化。那么该文件夹下的文件将会重新生成集群id集群id在下面这个路径下的VERSION 文件能找到cat /opt/software/hadoop-2.7.7/data/tmp/dfs/data/current/VERSIONcat /opt/software/hadoop-2.7.7/data/tmp/...

数据

hadoop

解决方法

其他

原创 2022-03-30 10:31:35 176 阅读

大数据行业组织结构分析- - - - 分析未来走的方向

平台组：偏向与技术（技术越高薪资越高）、随着年龄增长要求技术不断更新如果达到能修改hadoop等源代码，按照自己的需求修改。进行编译搭建的环境 6w起步。偏向于运维第一个：要把学过的框架环境搭建起来。主要功能采集数据，把需要的数据采集到另外一个平台。第二个：发现框架能不能正常运行、以及监控Flume数据量的情况。第三个：改进框架的性能数据仓库组：（需求...

数据

百度

报表开发

其他

原创 2022-03-30 10:31:32 187 阅读

运行hadoop2.7的：本地模式、伪分布式模式以及完全分布式模式对应的几个案例讲解

关于vim 使用sudo apt-get install vim 安装vi 经常出问题，不习惯，

hadoop

mapreduce

hdfs

原创 2022-03-30 10:29:57 128 阅读

Hadoop组成（面试经常考到）hadoop1.x和2.x版本的区别以及生态

在Hadoop1.x时代，Hadoop中的MapReduce同时处理业务逻辑运算和资源的调度，耦合性较大。在Hadoop2.x时代，增加了Yarn。Yarn只负责资源的调度，MapReduce只负责运算。增加yarn的主要目的是解耦！将计算和资源调度区分开NameNode、DataNode、Secondary NameNode：NameNode（nn）：存储文件的...

数据

spark

任务调度

其他

原创 2022-03-30 10:23:24 209 阅读

hadoop-2.7版本的完全分布式模式配置和群起集群

前提：需要3台配置好jdk和hadoop环境变量的虚拟机

hadoop

xml

hdfs

原创 2022-03-30 10:22:10 102 阅读

hadoop学习笔记篇----基础介绍

Hadoop三大发行版本：Apache、Cloudera、Hortonworks。Apache版本最原始（最基础）的版本，对于入门学习最好。Cloudera在大型互联网企业中用的较多。Hortonworks文档较好。1、Hadoop的特性4V： Volume大量 Velocity高速 Variety多样 Value低价值密度 ...

hadoop

hdfs

数据

其他

原创 2022-03-30 09:45:53 108 阅读

hadoop-2.7版本的完全分布式模式配置和群起集群

前提：需要3台配置好jdk和hadoop环境变量的虚拟机可以配置好一台服务器然后用xsync脚本进行同步，具体见另外一篇博客https://blog.csdn.net/qq_41813208/article/details/102575933其中三台服务器的名称分别是hadoop112、hadoop113、hadoop114修改了hosts文件将三个名称绑定了服务器例如...

hadoop

xml

hdfs

vim

配置文件

原创 2021-08-07 22:54:26 338 阅读

hadoop学习笔记篇----基础介绍

Hadoop三大发行版本：Apache、Cloudera、Hortonworks。Apache版本最原始（最基础）的版本，对于入门学习最好。Cloudera在大型互联网企业中用的较多。Hortonworks文档较好。1、Hadoop的特性4V： Volume大量 Velocity高速 Variety多样 Value低价值密度 ...

hadoop

hdfs

数据

cloudera

apache

原创 2021-08-07 12:56:16 114 阅读

运行hadoop2.7的：本地模式、伪分布式模式以及完全分布式模式对应的几个案例讲解

关于vim 使用sudo apt-get install vim 安装vi 经常出问题，不习惯，建议使用vim一、本地模式 ===》官方案例 Grep案例讲解在hadoop-2.7.7文件下面创建一个input文件夹 mkdir /opt/software/hadoop-2.7.7/input 复制hadoop的配置文件到input内 cp /opt...

hadoop

mapreduce

hdfs

vim

xml

原创 2021-08-07 12:53:19 362 阅读

大数据行业组织结构分析- - - - 分析未来走的方向

平台组：偏向与技术（技术越高薪资越高）、随着年龄增长要求技术不断更新如果达到能修改hadoop等源代码，按照自己的需求修改。进行编译搭建的环境 6w起步。偏向于运维第一个：要把学过的框架环境搭建起来。主要功能采集数据，把需要的数据采集到另外一个平台。第二个：发现框架能不能正常运行、以及监控Flume数据量的情况。第三个：改进框架的性能数据仓库组：（需求...

数据

百度

报表开发

正常运行

数据仓库

原创 2021-08-07 12:50:46 159 阅读

ubuntu19.04系统搭建hadoop2.7环境

为了方便先给root用户设置密码首先ctrl+alt+t 打开命令行，接下来为root用户设置密码sudo passwd root123456 (密码是不会显示出来的)首先安装配置JDK环境链接：Ubuntu19.04安装配置JDK8博客链接Hadoop配置 -----配置环境变量的时候注意文件夹路径和名称找到hadoop2.7的tar.gz包解...

hadoop

配置环境变量

解压缩

安装配置

root用户

原创 2021-08-07 12:50:33 118 阅读

NameNode不能一直格式化的原因

当执行hdfs namenode -format 对data文件夹格式化。那么该文件夹下的文件将会重新生成集群id集群id在下面这个路径下的VERSION 文件能找到cat /opt/software/hadoop-2.7.7/data/tmp/dfs/data/current/VERSIONcat /opt/software/hadoop-2.7.7/data/tmp/...

数据

hadoop

解决方法

删除数据

hdfs

原创 2021-08-07 12:50:29 836 阅读

hadoop开发中常用的端口号有那些？

50070 查看hdfs文件系统的8088 查看MapReduce

mapreduce

文件系统

hdfs

学习

原创 2021-08-07 09:59:13 148 阅读

Hadoop组成（面试经常考到）hadoop1.x和2.x版本的区别以及生态

在Hadoop1.x时代，Hadoop中的MapReduce同时处理业务逻辑运算和资源的调度，耦合性较大。在Hadoop2.x时代，增加了Yarn。Yarn只负责资源的调度，MapReduce只负责运算。增加yarn的主要目的是解耦！将计算和资源调度区分开NameNode、DataNode、Secondary NameNode：NameNode（nn）：存储文件的...

数据

spark

任务调度

hdfs

hadoop

原创 2021-08-07 09:59:12 329 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

wx603ebe2769cf3的博客

ubuntu19.04系统搭建hadoop2.7环境

hadoop开发中常用的端口号有那些？

NameNode不能一直格式化的原因

大数据行业组织结构分析- - - - 分析未来走的方向

运行hadoop2.7的：本地模式、伪分布式模式以及完全分布式模式对应的几个案例讲解

Hadoop组成（面试经常考到）hadoop1.x和2.x版本的区别以及生态

hadoop-2.7版本的完全分布式模式配置和群起集群

hadoop学习笔记篇----基础介绍

hadoop-2.7版本的完全分布式模式配置和群起集群

hadoop学习笔记篇----基础介绍

运行hadoop2.7的：本地模式、伪分布式模式以及完全分布式模式对应的几个案例讲解

大数据行业组织结构分析- - - - 分析未来走的方向

ubuntu19.04系统搭建hadoop2.7环境

NameNode不能一直格式化的原因

hadoop开发中常用的端口号有那些？

Hadoop组成（面试经常考到）hadoop1.x和2.x版本的区别以及生态