Hadoop框架中，有很多优秀的工具，帮助我们解决工作中的问题。Hadoop的位置从上图可以看出，越往右，实时性越高，越往上，涉及到算法等越多。越往上，越往右就越火…… Hadoop框架中一些简介 HDFSHDFS，（Hadoop Distributed File System） hadoop分布式文件系统。在Google开源有关DFS的论文后，由一位大牛开发而成。HDFS的建
转载
2023-07-14 16:32:24
57阅读
通过前面两篇文章的搭建，可以发现搭建的NameNode只有一台，没有进行备份机，如果NameNode宕机了，那整个集群也就废了，所以我们需要在另外的机器上再搭建一个NameNode节点，且使用JournalNode来保证两台NameNode中的元数据保持一致，并且还需要通过zookeeper的zkFailoverController守护进程来监控NameNode的健康状况，一旦其中active的N
转载
2024-03-06 12:52:38
100阅读
按照上几篇的内容，安装好两台ubuntu虚拟机之后，首先确定好哪台机子做namenode，哪台做datanode，打开终端,输入：$sudo vi /etc/hosts
在打开的文件中输入主机名和IP地址，比如我的是：127.0.0.0 localhost202.118.212.4 ubuntu202.118.212.5 ubuntu01两台虚拟机上都要这么写，然后开启SSH服务，确保两台虚拟机能
转载
2024-01-18 10:41:25
42阅读
1、三台虚拟机关闭防火墙三台机器执行以下命令（root用户来执行）service iptables stopchkconfig iptables off 2、三台机器关闭selinuxvim /etc/selinux/config3、三台机器更改主机名vim /etc/sysconfig/network 4、三台机器做主机名与IP地址的映射vim /etc/host
1.准备Linux环境（本地虚拟机VMWare下）1.0 先将虚拟机的网络模式选为NAT1.1 修改主机名vi /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=had ###1.2 修改IP 两种方式： 第一种：通过Linux图形界面进行修改进入Linux图形界面 -> 右键点击右上方的两个小电脑 -> 点击Edit conne
转载
2024-09-05 13:19:18
35阅读
Hadoop基础介绍一、总体介绍二、HDFS架构三、MapReduce结构四、YARN架构 一、总体介绍1、定义： 是一个开源的、可靠的、可扩展的分布式计算框架。2、用途： （1）数据仓库 （2）PB级别数据的存储与处理。3、核心组件 （1）HDFS：解决分布式存储，包括数据切分和多副本两部分。 （2）Map Reduce：解决分布式计算，Map：分，Reduce：合。既是分布式框架，又是编程模
转载
2023-07-12 15:15:29
51阅读
Hadoop框架的认识以及基础命令的认识Hadoop的学习笔记大数据的特点：大量、高速、多样化概述：Hadoop是一个适合海量数据的分布式存储和分布式计算的平台。Hadoop框架三大组件支持：Hadoop是一个统称，目前hadoop主要包含三大组件：（1）HDFS：是一个分布式存储框架，适合海量数据的存储（2）mapreduce：是一个分布式计算框架，适合海量数据的计算（3）yarn：是一个资源调
转载
2023-07-04 09:54:43
99阅读
一、概述1.1、Hadoop是什么？Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop由HDFS、MapReduce、HBase、Hive和ZooKeeper等成员组成，其中最基础最重要的两种组成元素为底层用于存储集群中所有存储节点文件的文件系统HDFS(Hadoop Dist
转载
2023-07-31 17:20:34
59阅读
1 单服务器主机托管解决方案（Windows 2003+ISAMware Server）
有一些单位在电信、网通或其他运营商的机房，放置了一台服务器进行托管，这些服务器一般会获得一个公网IP，并且用“主机头名”的方法，放置多个网站或论坛。
对于大部分人来说，如果只放一个网站，那么将服务器安装个Windows Server 2003或Linux，直接放网站就可以了。对
转载
2024-01-09 11:26:33
7阅读
Hadoop NameNode 高可用官方网站namenode可以手动进行切换也可以使用zookeeper进行自动的切换，下面只有第二种方法。配置zookeeper基本环境配置此时存在多台namenode，这些namenode之间需要进行免密配置。修改配置文件1. hdfs-site.xml<configuration>
<property>
<
转载
2023-08-23 20:35:25
44阅读
第132讲：Hadoop集群监控：日志、Metrics学习笔记一般用第三方工具，因为有针对性，可视化更好。监控的目标是检测集群，在什么时候没有提供需要的服务。hadoop最需要监控的是namenode,secondarynamenode,resourcemanager等。当然也要监控datanode和nodemanager。依据日志可以发现系统的发生的事件。从日志角度讲默认日志信息不够，希望改变日
转载
2023-07-18 11:33:35
53阅读
http://www.cnblogs.com/skyme/archive/2011/10/26/2223984.html
转载
精选
2016-07-27 16:17:05
263阅读
1. 在Hadoop1.0版本中，Hadoop是有许多缺点的。比如，迭代计算效率低下，因为每一次map和reduce前，会读取hdfs中的数据，然后本次执行完毕后，会把数据存储到hdfs中，反复读取hdfs中的数据，降低了迭代计算的效率。所以在Hadoop2.0后，就有了spark，它是基于内存的分 ...
转载
2021-08-11 17:55:00
201阅读
2评论
安装Hadoop至少需要2台机器，本次安装使用一个物理机器和一个虚拟机，软件环境都为Ubuntu 12.04 LTS 32位系统 。hadoop安装步骤： 1、到Oracle官网下载Java SE jdk安装包，我这里下载的是j
转载
2024-07-26 12:52:04
32阅读
一、大数据框架二、hadoop核心组件Hadoop集群具体来说包含两个集群：HDFS集群和YARN集群，两者逻辑上分离，但物理上常在一起。（1）HDFS集群：负责海量数据的存储。（2）YARN集群：负责海量数据运算时的资源调度。（3）MapReduce：在分布式计算框架上的可自定义设计框架，使用只需要定义其功能，而不用取考虑分布式并行计算的细节。（1）HDFS集群HDFS简化了文件的一致性模型，通
转载
2023-09-01 08:07:15
57阅读
OK~从今天开始，我们就开始我们的破茧成蝶——大数据篇系列的博客编写，今天是第一篇，开篇为《Hadoop框架介绍》，Hadoop系列将会收录在《破茧成蝶——大数据篇》专栏中。下面，大家就跟我一起踏上破茧成蝶的旅途吧！目录一、 Hadoop是什么二、Hadoop的三大发行版本2.1 Apache Hadoop2.2 Cloudera Hadoop
转载
2023-08-25 10:51:53
42阅读
第三章 大数据处理框架Hadoop3.1 概述3.1.1 Hadoop简介Hadoop是Apache软件基金会旗下的一个开源分布式计算平台，为用户提供了系统底层细节透明的分布式基础架构。Hadoop 是基于Java语言开发的，具有很好的跨平台特性，并且可以部署在廉价的计算机集群中。Hadoop 的核心是分布式文件系统HDFS（Hadoop Distributed File System）和MapR
转载
2023-11-08 18:54:17
52阅读
Hadoop框架详解Hadoop项目主要包括以下四个模块◆ Hadoop Common: 为其他Hadoop模块提供基础设施 ◆ Hadoop HDFS: 一个高可靠、高吞吐量的分布式文件系统 ◆ Hadoop MapReduce: 一个分布式的离线并行计算框架 ◆ Hadoop YARN: 一个新的MapRedu
转载
2023-09-14 13:04:31
16阅读
# 实现Hadoop数据中台的流程
## 步骤
以下是实现Hadoop数据中台的流程，共分为五个步骤：
| 步骤 | 描述 |
| ---- | ---- |
| 1 | 搭建Hadoop集群 |
| 2 | 准备数据 |
| 3 | 数据清洗和转换 |
| 4 | 数据存储与管理 |
| 5 | 数据分析与可视化 |
## 1. 搭建Hadoop集群
在这一步中，你需要搭建一个Hado
原创
2024-04-26 06:50:37
51阅读
一、题目要求大规模（百万以上）中文网页聚类 分布式计算平台：Hadoop 数据输入：未经处理的原始网页数据输出：对每一个网页进行聚类标注输入数据说明：每一行为一个网页。 Key (LongWritable) 每一个网页的全局ID号 Value (Text) 网页内容输出数据说明：每一行为一个网页。 Key (LongWritable) 每一个网页的全局ID号 Value (IntWritable)
