转载
2023-07-24 09:24:04
92阅读
1 完全分布式搭建 hdfs-site.xml中指定SNN的位置 在slaves文件中配置DN的位置 即可 4台机器配置文件一致 通过配置文件上的指定来启动不同的jps 2 HA的搭建 基于zk的zkfc的检测机制 同时也是一种选举机制， 主备间通过对journalnode的主->写 备->读的模式保持主备一致性 zk对zkfc进行了心跳的检测 在zk
转载
2023-09-20 10:30:17
37阅读
Hadoop入门教程：Streaming接口实现，Streaming接口就是使用UNIX标准流作为Hadoop和程序之间的接口，可以使用任何语言，仅需要编写的MapReduce程序能够读取标准输入并写入标准输出，Hadoop Streaming可以帮助用户创建和运行一类特殊的MapReduce作业，这些作业是由一些可执行文件或脚本文件充当Mapper或Reducer。 如果一个可执行文件被用于M
转载
2023-08-29 15:30:58
56阅读
Hadoop (一) Hadoop学习1.Hadoop 简介1.1 单独的 Hadoop软件Hadoop是Apache 软件基金会开源的一款开源Java软件，用户编写简单的编程模型实现跨机器对海量数据分布式计算处理的框架Hadoop的核心组件有Hadoop HDFS：分布式文件系统 大数据存储Hadoop YARN：集群的资源管理和任务调度框架 集群资源分配Hadoop MapReduce：分布式
转载
2023-09-24 19:27:13
112阅读
温馨提示：如果使用电脑查看图片不清晰，可以使用手机打开文章单击文中的图片放大查看高清原图。 1文章编写目的JMX（Java Management Extensions，即Java管理扩展）做Java开发的人都比较熟悉，它提供了一种在运行时动态资源的监控指标。JMX主要用于配置和监控资源状态，使用它可以监视和管理Java虚拟机。本篇文章Fayson主要介绍如何使用Cloudera Manager为H
转载
2024-01-23 23:02:38
48阅读
在debug hadoop的问题的时候，经常需要临时打开hadoop的debug日志，可以通过更改环境变量：export HADOOP_ROOT_LOGGER=DEBUG,console来开启debug log,这几天在看hadoop shell的时候发现有daemonlog这个参数，可以临时获取或更改当前日志基本，是通过org.apache.hadoop.log.LogL
原创
2014-12-22 21:47:28
2431阅读
点赞
1评论
# Hadoop实现串行
在大数据处理领域，Hadoop是一个非常流行的分布式计算框架。它的设计初衷是为了处理大规模数据集，并且能够在廉价的硬件上高效运行。Hadoop的核心组件包括HDFS和MapReduce。
## Hadoop基础概念
在开始介绍如何使用Hadoop实现串行之前，我们需要了解一些Hadoop的基础概念。
### HDFS
HDFS（Hadoop Distribute
原创
2023-09-03 08:36:40
75阅读
经过昨天的准备工作，今天基本就可以编写整个k-means算法程序了。今天编写的时候遇到了一个问题，是combine操作时遇到的问题。除了这个问题基本都按照原来的思路进行。先说下我的思路吧。准备工作：在上传数据文件到HDFS上之前，先应该产生一个中心文件，比如我的输入文件如下：0.0 0.2 0.4
0.3 0.2 0.4
0.4 0.2 0.4
0.5 0.2 0.4
5.0 5.2 5.4
6.
转载
2024-06-17 13:58:41
13阅读
一、MapReduce 分组上篇文章对 MapReduce 分区进行了介绍，通过分区规则控制不同的数据进到不同的 reducetask 中，而本篇文章讲的分组则是进到同一个 reducetask 中的数据的归类分组规则，下面是上篇文章的地址：javascript:void(0)分组在发生在reduce阶段，决定了同一个reduce中哪些数据将组成一组调用一次reduce方法处理。默认分组规则是：k
转载
2023-07-12 12:16:43
79阅读
ext departNo = new Text(); public Text getDepartId() { return departId; } public void setDepartId(String departId) { this.depart
原创
2023-04-20 15:42:41
90阅读
很多Java开发同学经常有一个疑惑，搞Java开发也需要懂算法吗？本文咱们就来谈谈这个问题。 其实如果你开发一个非常复杂而且有挑战的大型系统，那么必然会在系统中使用算法。同理，如果你可以将算法进行合理的优化，那么也可以将系统性能提升几十倍！ 空口无凭，下面用真实案例来进行说明。我们一起来看看Hadoop在部署了大规模的集群场景下，大量客户端并发写数据的时候，文件契约监控算法的性
转载
2023-09-01 10:15:35
33阅读
当前业界对大数据应用开发的场景要求：日志分析系统商品推荐系统用户行为分析系统等等案例1：Hadoop项目实战---黑马论坛日志分析
项目开发步骤1.使用flume把日志数据导入到hdfs中 2.对数据进行清洗、清洗后的数据易于我们使用 3.明细日志使用hbase存储，能够利用ip、时间查询 4.使用hive进行数据的多维分析 5.把hive分析结果使用sqoop导出到mysql中 6.提供视图
转载
2023-09-06 19:32:11
229阅读
# Hadoop监控实现指南
Hadoop是一个广泛使用的分布式计算框架，能够处理大规模数据。然而，要确保Hadoop集群的良好运转，实时监控其状态是至关重要的。以下是实现Hadoop监控的基本流程和步骤。
## 监控实现流程
| 步骤 | 任务描述 |
|------|---------------------|
| 1 | 配置Hadoop集群日志 |
|
原创
2024-08-20 07:01:25
68阅读
# Hadoop 实现续传
## 简介
在 Hadoop 中实现续传功能，可以让用户在文件上传过程中出现中断时，能够从中断处继续上传，而无需重新上传整个文件。这对于大文件的上传操作非常有用，可以节省时间和带宽资源。
在本文中，我将向你介绍 Hadoop 实现续传的流程和具体步骤，并提供相应的代码示例和注释，帮助你理解和实现这一功能。
## 流程概述
下面是整个 Hadoop 实现续传的流程概
原创
2023-08-29 06:36:35
146阅读
转载
2024-01-23 23:01:27
42阅读
1、日志采集框架Flume 1.1 Flume介绍 Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。 Flume可以采集文件，socket数据包等各种形式源数据，又可以将采集到的数据输出到HDFS、hbase、hive、 kafka等众多外部存储系统中 一般的采集需求，通过对flume的简单配置即可实现 Flume针对特殊场景也具
转载
2023-10-10 19:40:23
53阅读
hadoop2.X HA 原理: hadoop2.x之后，Clouera提出了QJM/Qurom Journal Manager，这是一个基于Paxos算法实现的HDFS HA方案，它给出了一种较好的解决思路和方案,示意图如下： 基本原理就是用2N+1台JN存储EditLog，每次写数据操作有大多数（>=N+1）返回成功时即认为该次写成功，数据不会丢失了。当然这个算法所能
转载
2023-09-01 08:55:19
60阅读
一、 实验目的 1. 基于 MapReduce 思想，编写两文件 Join 操作的程序。 二、 实验要求 1. 能够理解 MapReduce 编程思想，然后会编写 MapReduce 版本 Join 程序，并能执 行该程序和分析执行过程。 三、 实验背景 1. 概述 对于 RDBMS 中的 Join 操作大伙一定非常熟悉，写 SQL 的时候要十分注意细节，稍 有差池就会耗时巨久造成很大的性能瓶颈，
转载
2023-09-20 10:49:34
62阅读
前一段时间，从配置hadoop到运行kmeans的mapreduce程序，着实让我纠结了几天，昨天终于把前面遇到的配置问题和程序运行问题搞定。Kmeans算法看起来很简单，但对于第一次接触mapreduce程序来说，还是有些挑战，还好基本都搞明白了。Kmeans算法是从网上下的在此分析一下过程。
Kmeans.java
1. import org.apache.hadoop.conf.Confi
转载
2023-08-25 16:25:40
50阅读
之前在Hadoop的开发过程中，一直犯了一个比较严重的错误：一直将windows下的hadoop的本地运行模式理解为hadoop的集群运行模式，现将Hadoop的运行模式总结如下： 1、独立模式即本地运行模式（standalone或local mode） 无需运行任何守护进程（daemon），所有程序都在单个JVM上执行。由于在本机模式下测试和调试MapReduce程序较为方便，因此，这种模式适宜
转载
2023-10-10 13:43:27
54阅读
