准备工作：创建虚拟机：使用VirtualBox创建虚拟机安装Ubuntu-Server：VirtualBox安装ubuntu-Server版VirtualBox网络配置：Virtualbox虚拟机网络配置详解这里主要讲解伪分布式的安装创建一个用户，在这个用户上配置hadoop修改hostname 及 hosts设置免密登录安装并配置JDK安装并配置hadoop1. 新建一个用户，不妨就取名为had
转载
2023-07-21 14:38:51
67阅读
特别说明，做大数据需要特别好的电脑配置，处理器至少i5吧,i5-8300H，显卡尽量GTX的，GTX1050，内存得有8G吧（我的是16G）软件准备：jdk-1.8.0_191;hadoop-2.8.5；zookeeper-3.4.12,软件下载可以就不说了，直接去官网下载即可系统准备：Centos7 64位一、集群规划：主机名 &
转载
2023-07-07 19:49:43
94阅读
5节点hadoop-2.7.3 HA集群搭建一、集群规划共5个节点，主机名分别是node-01、node-02、node-03、node-04、node-05初始启动集群，node-01上运行active namenode即主namenode；node-02上运行standby namenode即从namenode每个节点运行的进程如下表机器名运行进程node-01NameNode/zkfc/Zo
转载
2023-05-31 00:27:49
388阅读
五个节点：配置文件解析：hadoop01 NameNode 、DataNode、NodeManagerhadoop02 ResourceManager hadoop03 DataNode NodeManager、SecondaryNameNodehadoop04
转载
2023-06-25 23:42:49
119阅读
# Hadoop 的五个进程简介
## 1. 引言
Hadoop 是一个开源的分布式计算框架，用于存储和处理大规模数据集。它具有高容错性、高可靠性和高可扩展性的特点，被广泛应用于大数据处理领域。Hadoop 框架由五个核心进程组成，包括 Hadoop 分布式文件系统（HDFS）、资源管理器（YARN）、MapReduce 程序框架、作业历史服务器（JobHistoryServer）和ZooKe
原创
2023-08-16 04:12:17
362阅读
1、HDFS分布式文件系统分布式存储分布式计算2、hadoophadoop含有四个模块，分别是 common、 hdfs和yarn。common公共模块。HDFShadoop distributed file system，hadoop分布式文件系统，负责文件的存储管理。HDFS包括Namenode进程、DataNode进程和Secondary Namenode进程。NameNodeDataNod
官方API链接地址：http://hadoop.apache.org/docs/current/一、什么是HDFS？ HDFS(Hadoop distributed file system):Hadoop上面的通用的分布式文件系统，具有高容错，高吞吐量的特性，同时它也是Hadoop的核心。二、Hadoop的优缺点 优点：
转载
2023-07-13 18:01:36
182阅读
五节点的Hadoop HA集群搭建1 集群规划1.1 节点（虚拟机）主机名IP操作系统安装软件vm110.211.55.11Centos 7JDK，Hadoopvm210.211.55.12Centos 7JDK，Hadoopvm310.211.55.13Centos 7JDK，Hadoop，Zookeepervm410.211.55.14Centos 7JDK，Hadoop，Zookeeperv
转载
2023-07-11 14:19:16
55阅读
1、hadoop通过一个jobtracker分派任务到一系列tasktracker来运行，tasktracker同时向jobtracker返回任务运行结果。jobtracker对作业的输入数据进行分片，然后为每个分片创建一个map任务，同时创建一定数量的reduce任务，并指派空闲的tasktracker来执行这些任务。tasktracker从jobtracker处获取任务jar包以及分片的输入数
永久性数据结构
一、namedode的目录结构：
${dfs.name.dir}/current/VERSION
1.Eureka：注册中心2.Zuul：服务网关3.Ribbon：负载均衡4.Feign：服务调用5.Hystix：熔断器以电商项目为例：一.Eureka是微服务架构中的注册中心，专门负责服务的注册与发现。 库存服务、仓储服务、积分服务中都有一个Eureka Client组件，这个组件专门负责将这个服务的信息注册到Eureka Server中。说白
1.NameNode:相当于一个领导者，负责调度 ，比如你需要存一个1280m的文件如果按照128m分块 那么namenode就会把这10个块（这里不考虑副本）分配到集群中的datanode上并记录对于关系 。当你要下载这个文件的时候namenode就知道在那些节点上给你取这些数据了。它主要维护两个map 一个是文件到块的对应关系 一个是块到节点的对应关系。2. secondarynamenode
原创
2016-11-20 23:24:18
1533阅读
点赞
一般如果正常启动hadoop，我们可以在master上通过jps命令看到以下5个daemons:[root@master ~]# jps19803 SecondaryNameNode19994 ResourceManager31144 Jps19571 NameNode 19672 DataNode19887 NodeMana
转载
2023-07-07 15:20:31
351阅读
Hadoop是一个开源的分布式计算框架，它被广泛应用于大数据处理和分析。然而，有时候我们可能会遇到Hadoop无法全部启动的问题。本文将介绍Hadoop不能全启动的原因，并提供相应的代码示例来解决这个问题。
首先，我们需要了解Hadoop的架构。Hadoop由多个不同的组件组成，包括HDFS（Hadoop分布式文件系统）、YARN（Yet Another Resource Negotiator）
原创
2023-09-07 10:54:37
38阅读
前一篇日志写到，“医”食住行是关乎民生的四大基础服务业。个人觉得IT是第五个服务。大家可以理解认为IT是第三产业，服务业也称第三产业。同时大家需要和IT服务分开，IT服务是IT三大分类中的一个部分，第一个部分是硬件（服务器，存储设备，网络设备），第二个部分是软件。其实软件里面包含互联网软件。软件发展这么多年，确实很难定义软件。 关于服务业大家可以参考维基百科，地址：http://zh.w
守护进程在上一篇文章中我写了如何搭建单节点的hadoop，在搭建完成后，我们通过jps查看了hadoop 的进程，一共有五个，他们分别是：NameNodeDataNodeSecondaryNameNodeResourceManagerNodeManagerNameNodehdfs有两个核心，namenode就是其中的主节点，他就像一个领导者，负责协调和分配各项工作和任务。 简单的说他的功能主要有
转载
2023-06-14 19:21:17
816阅读
Hadoop 安装模式分为三种：
单机模式：单机模式下注意将备份数量设置为1，设置为3是没有意义的
伪分布式：没有测试
完全分布式：
完全分布式需要3台-3台以上的服务器，由NameNode进行控制多台DataNode。
转载
2023-07-24 11:33:20
97阅读
目前有三台主机，配置如下：在hadoop102主机上执行启动脚本（自定义脚本或者start-dfs.sh或者start-all.sh）,datanode节点不能正常启动。第一种情况： 原因：多次 hadoop namenode -format 导致 datanode 的version 里的Cluster-Id 不一致解决方案：删除hadoop配置文件core-site.xml中指定的缓
转载
2023-06-07 19:20:43
209阅读
摘要
Windows 服务被设计用于需要在后台运行的应用程序以及实现没有用户交互的任务。为了学习这种控制台应用程序的基础知识，C（不是C++）是最佳选择。本文将建立并实现一个简单的服务程序，其功能是查询系统中可用物理内存数量，然后将结果写入一个文本文件。最后，你可以用所学知识编写自己的 Windows 服务。
当初我写第一个 NT 服务时，我到 MSDN 上找例子。在那里我找到
转载
精选
2011-09-26 14:44:52
620阅读
今天我们来说说服务器基础知识方面的几个问题，也是困惑初涉服务器领域众“菜鸟”们的几个常见问题:1 双路等于双核么?问题:常听说双路至强XX式服务器，最近又出现了双核至强，都是两个CPU，是不是双路等于双核?答案:不是无论服务器的单路、双路、四路乃至八路，其中的“路”都是指服务器物理CPU的数量，也就是服务器主板上CPU插槽的数量。最近出现的双核处理器，是在一颗物理CPU内部封装了两个CPU核心，这
转载
精选
2015-03-25 10:51:28
290阅读
