一.前提： 三台虚拟机（静态IP，关闭防火墙，修改主机名，配置免密登录，集群时间同步） --前面的文章已经提过了，不再赘述。二.在/opt目录下创建文件夹mkdir -p /opt/lagou/software --软件安装包存放目录
mkdir -p /opt/lagou/servers --软件安装目录三.Hadoop下载地址：https://archive.apache.org/
转载
2021-04-29 13:41:54
438阅读
2评论
一.三台虚拟机关闭防火墙查看防⽕火墙状态 systemctl status firewalld二.三台机器器关闭selinuxvi /etc/selinux/config三.三台机器免密登录1.配置hostname与IP映射 --上篇文章已经讲过了，不再赘述。2.在所有主机上创建⽬目录并赋予权限 mkdir /root/.ssh chmod 700 /root/.ssh 3.第三步，在三台机器
转载
2021-04-20 21:13:59
318阅读
2评论
一、发音是：[hædu:p]。二、简介：Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统（Hadoop Distributed File System）
转载
2017-02-05 18:47:00
188阅读
2评论
一、环境准备 1.说明 hadoop的下载来源有： 官方版本：http://archive.apache.org/dist/hadoop/ CDH版本：http://archive.cloudera.com/cdh5 企业应用一般选择CDH版本，因为比较稳定。 若决定使用CDH版本，则要保证相关软件
转载
2018-03-21 16:19:00
90阅读
2评论
一、异常现象 启动hadoop时，datanode启动失败，出现如下异常： 二、异常原因 原因是 用户 ray 不具备文件夹所属权 三、异常解决 通过命令： 将文件夹ray及其子文件夹的所属权赋给用户 ray 然后再重新启动即可 四、参考资料 自己奇思妙想
转载
2018-03-23 14:55:00
306阅读
2评论
我个人接触hadoop仅仅不到一年，因为是业余时间学习，故进度较慢，看过好多视频，买过好多书，学过基本知识，搭建过伪分布式集群，有过简单的教程式开发，恰逢毕业季，面试过相关岗位，自认为路还很远，还需一步一步积累。今天总结一篇关于hadoop应用场景的文章，自认为这是学习hadoop的第一步，本文主要解答这几个问题：hadoop的十大应用场景？hadoop到底能做什么？2012年美国著名科技博客Gi
转载
2023-05-31 16:18:15
135阅读
谁在用 Hadoop这是个问题。在大数据背景下，Apache Hadoop已经逐渐成为一种标签性，业界对于这一开源分布式技术的了解也在不断加深。但谁才是 Hadoop的最大用户呢？首先想到的当然是它的“发源地”,像Google这样的大型互联网搜索引擎，以及Yahoo专门的广告分析系统。也许你会认为， Hadoop平台发挥作用的领域是互联网行业，用来改善分析性能并提高扩展性。其实 Hadoop的应用
转载
2023-09-26 15:50:50
55阅读
谈大数据就必须谈Hadoop，这就是Hadoop在大数据领域的地位。Hadoop自身及生态发展都很快，目前已经到3.x。本文先谈一些基础的东西，“键值对的思考”小节是本文比较有意思和值得阅读的内容。(一)Hadoop起源Hadoop起源于Google在2003年和2004年发表的两篇论文，GFS和MapReduce。Hadoop的项目发起者Doug Cutting当时正在研究开源的网页搜索引擎Nu
转载
2023-11-07 06:49:17
361阅读
hadoop简介一、hadoop中的组件HDFS（框架）:负责大数据的存储 YARN（框架）： 负责大数据的资源调度MR(编程模型)： 使用Hadoop制定的编程要求，编写程序，完成大数据的计算完成大数据的计算步骤： （1）写程序，程序需要复合计算框架的要求 java —>main—>运行 MapReduce(编程模型)----》Map–Reducer (2) 运行程序，申请计算资源（
转载
2023-07-24 13:15:00
56阅读
Hadoop中的MapReduce是一种编程模型，用于大规模数据集的并行运算 文章目录一、ReduceJoin 是什么二、ReduceJoin案例分析1、需求分析2、撸代码1）Bean对象2）Mapper3）Reducer 一、ReduceJoin 是什么在现实世界，很多事情都是有关联的，这些关联的事务被抽象成数据的话，如果放在一个文件中是很麻烦的，所以人们一般会用多个文件进行存储，Join做的工
转载
2023-07-21 14:21:07
225阅读
Hadoop应用案例分析：在Yahoo的应用，
关于Hadoop技术的研究和应用，Yahoo!始终处于领先地位，它将Hadoop应用于自己的各种产品中，包括数据分析、内容优化、反垃圾邮件系统、广告的优化选择、大数据处理和ETL等;同样，在用户兴趣预测、搜索排名、广告定位等方面得到了充分的应用。
在Yahoo!主页个性化方面，实时服务系统通过Apache从数据库中读取user到inter
转载
2024-01-16 16:00:52
25阅读
Hadoop是目前大数据分析领域中应用最广泛的一种分布式架构，而经过相当长时间的发展，Hadoop在功能上也越来越成熟。尤其在过去三年里，它得到前所未有的发展，并被很多公司大规模采用。然而时代在变化，Hadoop在多云的未来该何去何从?根据市场调研公司Forrester估计，2017年用户将在Hadoop软件和相关服务上花费8亿美元。这并不奇怪，因为在过去这段时间里，Hadoop供应商们充分利用C
转载
2023-08-07 17:39:29
115阅读
ZooKeeper被越来越广泛地应用在大型分布式系统中，比如Hadoop、HBase和Kafka等。以下主要介绍一个ZooKeeper在Hadoop和Kafka中的应用。一、Hadoop1、ZooKeeper在Hadoop是什么作用？在Hadoop中，ZooKeeper主要用于实现HA（High Availability），这部分逻辑主要集中在Hadoop Common的HA模块中，HDFS的Na
转载
2023-09-20 12:33:24
67阅读
一.hive基础1.hive作用将结构化数据文件映射成一张表 提供类似于sql的查询功能 HQL 存储在hdfs上2.hive的内置数据库一般用mysql为什么不用默认的内置数据库？默认内置derby弊端，一台机器只支持一个客户端 比如你用xshell连接服务器之后通过bin/hive启动了hive，不关； 然后你再打开一个xshell,还去执行bin/hive命令，就会报错，因为被锁住了3.hi
转载
2024-10-08 21:01:13
25阅读
# 使用Hadoop实现应用现状
## 概述
在开发Hadoop应用之前，我们需要了解整个流程以及每个步骤所需的代码。本文将指导你如何使用Hadoop实现一个应用的现状。
## 流程概览
下表展示了实现Hadoop应用现状的整个流程：
| 步骤 | 描述 |
| --- | --- |
| 步骤1 | 配置Hadoop集群 |
| 步骤2 | 准备数据 |
| 步骤3 | 实现Map和Red
原创
2023-08-02 06:40:51
128阅读
# Hadoop应用开发
## 什么是Hadoop?
Hadoop是一个开源的分布式计算框架，用于存储和处理大规模数据集。它采用了分布式计算的思想，可以在数千台机器上同时运行，以实现高可靠性和高性能。
Hadoop的核心组件包括Hadoop Distributed File System（HDFS）和MapReduce处理模型。HDFS用于在Hadoop集群中存储数据，而MapReduce用
原创
2023-07-23 18:14:16
90阅读
# Hadoop应用开发指南
## 概述
Hadoop是一个用于可靠性高、可扩展性强的分布式计算的开源框架。本篇文章将向刚入行的小白开发者介绍如何开发Hadoop应用。我们将以一个传统的WordCount示例作为案例，帮助他理解整个开发流程。
## 开发流程
下面是开发Hadoop应用的整个流程示意图：
```mermaid
gantt
dateFormat YYYY-MM-DD
原创
2023-08-28 10:37:39
32阅读
随着Last.fm服务的发展，用户数目从数千增长到数百万，这时，存储、处理和管理这些用户数据渐渐变成一项挑战。幸运的是，当大家认识到Hadoop技术能解决众多问题之后，Hadoop的性能迅速稳定下来，并被大家积极地运用。2006年初，Last.fm开始使用Hadoop，几个月之后便投入实际应用。Last.fm使用Hadoop的理由归纳如下。 (1
转载
2023-09-13 23:42:27
47阅读
项目案例：HDFS分布式文件系统Hadoop的简介：Hadoop是apache软件基金会的开源分布式计算平台hadoop集群包括两种角色Mater和Slave。一个HDFS集群由一个运行于Master上的NameNode和若干个运行于Slave节点的DataNode组成。NameNode负责管理文件系统命名空间和客户端对文件系统的访问操作；DataNode管理存储的数据。文件以块形式在
转载
2023-09-01 09:18:34
70阅读
首先百度百科了各个词条的含义：HadoopHadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。[1] Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件
转载
2023-08-23 16:29:01
55阅读
