版本：Apache Hadoop 2.7.2 一、虚拟机环境准备1. 克隆虚拟机 2. 修改克隆虚拟机的静态IP网卡配置文件位置： /etc/sysconfig/network-scripts/ifcfg-eth0地址和Mac地址绑定的文件： /etc/udev/rules
5.JobTracker
JobTracker是在网络环境中提交及运行MR任务的核心位置。
5.0 JobTracker启动
JobTracker类中有一个main()函数，hadoop启动的时候执行此main()函数启动JobTracker进程，main()中生成一个JobTracker的对象，然后通过tracker.offerService()语句启动服务，
转载
2023-10-20 11:24:00
36阅读
Hadoop就是一个实现了Google云计算系统的开源系统，包括并行计算模型Map/Reduce，分布式文件系统HDFS，以及分布式数据库Hbase，同时Hadoop的相关项目也很丰富，包括ZooKeeper，Pig，Chukwa，Hive，Hbase，Mahout，flume等. 执行流程：外部程序定时把文件复制到 hadoop 的 hdfs 里去， 然后
转载
2023-07-13 11:39:32
40阅读
企业的经营管理如同太空中的行星一样有自己的轨道，遵循一定的规律；也就是说企业在经营管理过程中，其业务受外部社会环境、市场环境以及企业自身内部环境的约束，按照一定的业务规则运行。业务按照一定的业务规则运行就形成了业务流程。 换言之，在日常业务处理（或工作）过程中，每一种业务（或每一项工作）都是由（或都可分为）几个业务（或工作
所需环境 Ubuntu11.10（32位） hadoop2.2.0 jdk1.8集群为3台机器（都是从虚拟机里虚拟出来的）各机器参数如下hadoop01 192.168.0.30 sun（计算机名） sun（用户名） hadoop02 192.168.0.31 worker01 &nbs
转载
2024-05-13 14:40:50
28阅读
在 Apache Spark 的架构中，Spark Worker 和 Spark Engine 扮演着至关重要的角色。Spark Worker 是任务执行的工作节点，而 Spark Engine 是负责协调和调度的控制节点。在这篇博文中，我们将深入探讨二者的作用以及它们之间的关系，并提供实用的指导和案例，帮助你更好地理解和使用 Spark。
## 版本对比
在不同版本的 Spark 中，Spa
# Hadoop Worker重连机制解析
在分布式计算框架Hadoop中，Worker节点负责处理实际的计算任务。然而，由于网络波动、节点故障等原因，Worker节点可能会与Master节点失去连接，导致任务失败或延迟。因此，Hadoop设计了一套重连机制，以恢复Worker节点与Master节点的通信。
## 什么是重连机制？
重连机制是指在Worker节点丢失与Master节点连接后，
原创
2024-09-11 07:04:55
44阅读
Redis 采用事件驱动机制来处理大量的网络IO。它并没有使用 libevent 或者 libev 这样的成熟开源方案，而是自己实现一个非常简洁的事件驱动库 ae_event。 Redis中的事件驱动库只关注网络IO，以及定时器。该事件库处理下面两类事件：文件事件(file event)：用于处理 Redis 服务器和客户端之间的网络IO。时间事件(time eveat)：Redis
转载
2023-12-24 08:52:08
24阅读
Spark 要点总结及优化
转载
2019-10-30 09:20:00
221阅读
上图展示了Spark的架构的简单示意。我们不妨先这样认识Spark，它有几个重要的部分：Master Node：它是集群部署时候的概念，是整个集群的控制器，负责集群的正常运行，管理Worker Node。Worker Node：它是计算节点，会接收Master Node的命令，并进行状态汇报。Executors：每个Worker Node上都有一个Executor，它负责完成任务的执行，是一个线程
转载
2023-12-15 14:24:57
51阅读
Zookeeper和hadoop的安装与部署Zookeeper的安装与部署hadoop高可用集群的搭建部署一、配置虚拟机二、安装hadoop4.修改相关配置（1）修改core-site.xml（2）修改hdfs-site.xml（3）修改yarn-site.xml（4）.修改mapred-site.xml(该文件不存在，需要手动创建)（5）修改slaves文件（6）f.修改hadoop-env.
转载
2023-08-10 20:40:00
50阅读
一、读流程1.客户端发起RPC读请求到NameNode2.NameNode收到请求之后，校验这个文件是否存在，如果存在，不需要进行读权限校验，因为在hadoop的管理界面上 Permission 为： -rw-r--r--，都有读权限而后，会将这个文件所对应的Block的存储地址放到一个队列(因为队列可以保证顺序)中返回给客户端 例：500M的数据，会按照128M进行切分为4个bloc
转载
2023-07-13 11:10:59
84阅读
HadoopHadoop的介绍Hadoop有什么优点Hadoop发展史（了解）Hadoop三大发行版本Hadoop的组成Hadoop组成一：HDFSHadoop组成二：MapReduceHadoop组成三：Yarn Hadoop的介绍(1) Hadoop是什么？1.狭义：Hadoop是一个有Apache基金会所开发的分布式系统（软件）基础架构 2.广义：Hadoop通常是指一个更广泛的概念——H
转载
2023-07-12 12:52:40
50阅读
导读：近些年随着云计算和云原生应用的兴起，容器技术可以很好地解决许多问题，所以将大数据平台容器化是一种理想的方案。本文将结合袋鼠云数栈在Flink on Kubernetes的实践让您对大数据平台容器化的操作和价值有初步的了解。 你可以看到???▫ Kubernetes如何解决Hadoop痛点▫ 数栈在Flink on K8S的实践▫ 容器化之后的未来设想：资源池化作
# Hadoop日志作用
## 引言
在大数据处理中，Hadoop是最常用的框架之一。Hadoop是一个开源的分布式计算平台，用于处理大规模数据集。在Hadoop中，日志起着非常重要的作用。本文将介绍Hadoop日志的作用，并提供一些代码示例来说明如何使用Hadoop日志。
## Hadoop日志的作用
Hadoop日志记录了集群中各个任务的执行情况，包括任务的启动、运行、结束等信息。通过
原创
2024-02-06 11:20:59
37阅读
Zookeeper 作为一个分布式的服务框架，主要用来解决分布式集群中应用系统的一致性问题，它能提供基于类似于文件系统的目录节点树方式的数据存储， Zookeeper 作用主要是用来维护和监控存储的数据的状态变化，通过监控这些数据状态的变化，从而达到基于数据的集群管理。 1 Zookeeper基本框架 Zookeeper集群主要角色有Leader，Learner（Follower，Observ
转载
2023-07-20 17:07:01
134阅读
一，Hbase的介绍与个人理解1，Hbase是一个分布式数据库，主要用来做联机的事务处理。它是一个No SQL 数据库。里面存储的数据都是K,V类型的数据，与另一个分布式数据库Redis类似。而不同于Mysql中的数据库表模型（三范式）。2，Hbase具备实时的增删改查功能，以后我们做实时的数据分析，可以将结果存入Hbase，Redis中。分布式数据库的优点：可以动态扩容，负载能力可以动态扩展
转载
2023-07-21 23:31:15
140阅读
1.了解什么是hadoop Hadoop是一个由Apache基金会所开发的用于大数据开发所使用的一个分布式系统基础架构。（简单来说就是大数据开发的软件框架，可以实现存储信息，查看信息，管理信息）2.hadoop的基本特征： 1.高可靠性。采用冗余数据存储方式，当一个副本发生故障，其他副本也可以保证正常对外提供服务。 &nb
转载
2023-07-12 12:22:50
61阅读
目录版本要求启动 minikube安装 Helm使用 helm 安装 spark-operator提交 spark 任务Schedule 机制Metric版本要求Spark 官方没有开发 Spark Operator，现在是由 Google 开发的这个 Operator 使用的 Spark on K8S 方案和 Spark 官方一样，只是包了一层，使得可以像声明其他 K8S 的应用（比如声明 Se
转载
2023-11-18 17:36:21
124阅读
关于 Hadoop 分区的作用，本博文将深入探讨其在大数据处理中的重要性，以及如何迁移、兼容性、排错、性能优化等方面的实践经验。
## 版本对比
在 Hadoop 的各个版本中，分区功能不断演进，特性也有所不同。以下是各版本的特性差异。
```mermaid
quadrantChart
title 特性差异
x-axis 版本
y-axis 功能复杂度
"Ha
