51CTO首页
AI.x社区
博客
学堂
精品班
软考社区
免费课
企业培训
鸿蒙开发者社区
信创认证
公众号矩阵
移动端
视频课 免费课 排行榜 短视频 直播课 软考学堂
全部课程 软考 信创认证 华为认证 厂商认证 IT技术 PMP项目管理 免费题库
在线学习
文章 资源 问答 课堂 专栏 直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO软考
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
51CTO软考题库
CKA（Kubernetes 管理员认证）精品班
按照企业k8s需求进行技能培训，帮助用户快速拿下CKA认证，K8S采用新版本进行授课，课程内容全、讲解详细 。 免费试学
软考高级：系统架构设计师精品班
根据考试大纲对知识点、高频考点进行深入讲解，传授答题技巧及判断标准，助力高效备考。 免费试学
信创认证：系统架构师精品班（高级）
信息技术应用创新人才考试评价 免费试学

大数据 - 框架 - Hadoop
 Hadoop技术生态的组成部分：Hadoop Common：支持Hadoop其他模块的通用工具HDFS：分布式文件系统，提供了高吞吐量的数据访问（最初始模块之一）YARN：作业调度和资源管理的框架MapReduce：基于YARN的大数据分布式计算框架（最初始模块之一）  HDFS利用多个商业硬件构成存储集群，利用namenode进行数据的存储控制，具有支持超大文件、存储灵活、可靠性高等特定，面对
Hadoop
转载
mob604756fc844f
2021-04-29 14:06:55
218阅读
2评论

大数据 - 框架 - Hadoop
 Hadoop技术生态的组成部分：Hadoop Common：支持Hadoop其他模块的通用工具HDFS：分布式文件系统，提供了高吞吐量的数据访问（最初始模块之一）YARN：作业调度和资源管理的框架MapReduce：基于YARN的大数据分布式计算框架（最初始模块之一）  HDFS利用多个商业硬件构成存储集群，利用namenode进行数据的存储控制，具有支持超大文件、存储灵活、可靠性高等特定，面对
Hadoop
转载
mb601cfae7df0aa
2021-03-08 19:18:17
231阅读
2评论

hadoop大数据框架Java hadoop大数据框架发展史
每一个知道大数据的人都听说过Hadoop，作为基础框架，其凭借着低成本、高可靠、高扩展、高有效、高容错等特性成为最流行的大数据分析系统。要入门大数据，最好的办法就是理清Hadoop的生态系统。 Hadoop是Apache软件基金会的顶级开源项目，是由原雅虎公司Doug Cutting根据Google发布的学术论文而创建的开源项目。Doug Cutting被称为Hadoop之父，他打造了目前在云计
hadoop大数据框架Java
hadoop
生态系统
开源项目
Hadoop
转载
coolfengsy
2023-07-20 17:55:09
61阅读

BI 大数据hadoop 系统架构 大数据框架hadoop
Hadoop一、入门1、大数据定义2、Hadoop 入门概念①Hadoop是什么？②Hadoop发展历史③Hadoop的三大发行版本④Hadoop的优势⑤Hadoop的组成 （重点）⑥大数据技术生态体系⑦推荐系统案例3、模拟虚拟机准备①安装`epel-releaes`②安装`net-tools`③关闭防火墙,关闭防火墙开自启④创建atguigu用户，并修改atguigu用户的密码⑤配置atgui
BI 大数据hadoop 系统架构
linux
centos
java
hadoop
转载
level
2023-09-07 09:41:47
129阅读

大数据框架hadoop 大数据框架技术有哪些
1、什么是大数据？在互联网技术发展到现今阶段，大量日常、工作等事务产生的数据都已经信息化，人类产生的数据量相比以前有了爆炸式的增长，以前的传统的数据处理技术已经无法胜任，需求催生技术，一套用来处理海量数据的软件工具应运而生，这就是大数据！  2、数据的处理技术处理海量数据的核心技术：海量数据存储：分布式海量数据运算：分布式  3、常用的大数据框架这些核心技术
大数据框架hadoop
大数据
框架
海量数据
数据
转载
mob64ca140ac564
2023-11-17 20:24:29
75阅读

浅析大数据框架 Hadoop
作者：幻好 来源：恒生LIGHT云社区 Hadoop 概念及其发展 Hadoop 最早起源于 Nutch。Nutch 的设计目标是构建一个大型的全网搜索引擎，包括网页抓取、索引、查询等功能，但随着抓取网页数量的增...
apache
hdfs
cloudera
nutch
yarn
原创
恒生LIGHT云社区
2022-03-18 10:11:05
180阅读

浅析大数据框架 Hadoop～
> 作者：幻好 > > 来源：[恒生LIGHT云社区](https://developer.hs.net/thread/1218) ### Hadoop 概念及其发展 Hadoop 最早起源于 Nutch。Nutch 的设计目标是构建一个大型的全网搜索引擎，包括网页抓取、索引、查询等功能，但随着抓取网页数量的增加，遇到了严重的可扩展性问题——如何解决数十亿网页的存储和索引问题。 2003 年、
数据分析
大数据
Hadoop
分布式数据库
数据库
原创 精选
恒生LIGHT云社区
2021-07-28 10:39:44
553阅读

hadoop 大气模型 hadoop大数据框架
互联网大数据框架介绍（一）Hadoop，HDFS，yarn，Mapreduce如下图，这是现在流行的大数据技术线路图，也是最近才学习大数据的课程，所以对以下几个方面，hadoop，HDFS，yarn，Hbase，Mapreduce，Spark，Spark Streaming，Hive，Sqoop，这几个方面从数据存储到ETL这些核心部分进行介绍，。第一部分：hadoop首先，什么是hadoop：
hadoop 大气模型
大数据
mapreduce
hadoop
HDFS
转载
智能开发艺术家
2023-10-19 14:05:23
61阅读

大数据框架hadoop和hbase
近年来，大数据技术在各行各业中得到了广泛的应用和发展。而Hadoop和HBase作为大数据领域中的关键技术，为我们处理海量数据提供了有效的解决方案。本文将介绍如何在Kubernetes（K8S）中实现大数据框架Hadoop和HBase的部署，以及相关的代码示例。 ### 整体流程 下表展示了在K8S中搭建Hadoop和HBase的整体流程： 步骤|操作 -|- 1|创建Hadoop集群 2|
Hadoop
docker
xml
原创
追光的人儿在大武汉
2024-05-30 09:59:27
109阅读

hadoop大数据 技术架构 简述hadoop大数据处理框架
大数据处理框架Hadoop介绍  海量数据的诞生，催生了以Hadoop为代表的一系列数据处理框架的面世，为海量数据分析提供了强大的支撑力量。Hadoop是一个被广泛应用于集群环境中的海量数据分布式处理框架。下面，我们就来科普性地认识一下Hadoop！1 背景  大数据时代，我们已经很难估算全球电子设备中存储的数据总量有多少；同时，随着智能终端、物联网、社交媒体等的广泛普及，各行各业均在谋求数字化转
hadoop大数据 技术架构
Hadoop
大数据
数据
Apache
转载
AI独步天下
2023-07-24 15:11:57
108阅读

学习Hadoop大数据基础框架
什么是大数据？进入本世纪以来，尤其是2010年之后，随着互联网特别是移动互联网的发展，数据的增长呈爆炸趋势，已经很难估计全世界的电子设备中存储的数据到底有多少，描述数据系统的数据量的计量单位从MB（1MB大约等于一百万字节）、GB（1024MB）、TB（1024GB），一直向上攀升，目前，PB（等于1024TB）级的数据系统已经很常见，随着移动个人数据、社交网站、科学计算、证券交易、网站日志、传感
支持
转载
本宫没空1
2018-11-14 10:29:05
527阅读

大数据框架hadoop和scala
## 用K8S部署大数据框架Hadoop和Scala 欢迎来到这篇关于如何在Kubernetes（K8S）上部署大数据框架Hadoop和Scala的教程。本教程适合那些想要学习如何在容器化环境下管理和部署大数据框架的开发者。在本教程中，我们将分步骤介绍如何配置和部署Hadoop和Scala，同时利用K8S的弹性和自动化管理特性。 ### 步骤概览 在下面的表格中，我们列出了本教程的大致步骤，
应用程序
Scala
Hadoop
原创
靖待花开
2024-05-30 09:59:42
61阅读

大数据框架hadoop和kafka
在使用Kubernetes（K8S）部署大数据框架Hadoop和Kafka之前，首先我们需要了解整个流程，并掌握每一步所需的代码示例。下面将详细介绍如何实现这一过程。 ### 流程概述： | 步骤 | 操作 | | ---- | ---- | | 1 | 创建Kubernetes集群 | | 2 | 部署Hadoop集群 | | 3 | 部署Kafka集群 | ### 步骤详解及代码示例：
Hadoop
代码示例
hadoop
原创
是小菜呀
2024-05-30 09:59:12
63阅读

hadoop 大数据平台架构 简述hadoop大数据处理框架
一、Hadoop1.HadoopHadoop的初衷是采用大量的廉价机器，组成一个集群，完成大数据的存储和计算。2.hadoop中的组件hadoop 1.x HDFS： 负责大数据的存储 Common: HDFS和MR共有的常用的工具包模块 MapReduce: 负责计算，负责计算资源的申请的调度完成大数据的计算 ①写程序，程序需要复合计算框架的要求。 java---->main-----&g
hadoop 大数据平台架构
hadoop
大数据
Hadoop
HDFS
转载
网猴儿
2023-07-12 12:32:23
132阅读

大数据处理框架hadoop 大数据处理框架有哪些
这里写自定义目录标题 Apache HadoopApache Hadoop是一种专用于批处理的处理框架。Hadoop是首个在开源社区获得极大关注的大数据框架。基于谷歌有关海量数据处理所发表的多篇论文与经验的Hadoop重新实现了相关算法和组件堆栈，让大规模批处理技术变得更易用。新版Hadoop包含多个组件，即多个层，通过配合使用可处理批数据：· HDFS：HDFS是一种分布式文件系统层，可对集群
大数据处理框架hadoop
大数据
hadoop
java
Hadoop
转载
码海探险先锋
2023-11-17 20:24:38
75阅读

hadoop大数据基础框架技术详解
一、什么是大数据进入本世纪以来，尤其是2010年之后，随着互联网特别是移动互联网的发展，数据的增长呈爆炸趋势，已经很难估计全世界的电子设备中存储的数据到底有多少，描述数据系统的数据量的计量单位从MB（1MB大约等于一百万字节）、GB（1024MB）、TB（1024GB），一直向上攀升，目前，PB（等于1024TB）级的数据系统已经很常见，随着移动个人数据、社交网站、科学计算、证券交易、网站日志、传
大数据
Hadoop
程序开发
转载
adnb34g
2018-03-10 13:57:48
484阅读

大数据框架hadoop服务角色介绍
大数据框架hadoop服务角色介绍翻了一下最近一段时间写的分享，DKHadoop发行版本下载、安装、运行环境部署等相关内容几乎都已经写了一遍了。虽然有的地方可能写的不是很详细，个人理解水平有限还请见谅吧！我记得在写DKHadoop运行环境部署的时候，遗漏了hadoop服务角色的内容，本篇特地补上这部分内容吧，不然总觉得不舒服。要在集群中运行DKHadoop服务，需要指定集群中的一个或多个节点执行该
支持
转载
本宫没空1
2018-11-12 18:45:28
305阅读

大数据学习——hadoop的RPC框架
项目结构   服务端代码 test-hadoop-rpc pom.xml <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
maven
hadoop
apache
xml
java
转载
mob60475705c8db
2019-01-03 22:47:00
210阅读
2评论

大数据框架Hadoop自主学习报告
引子虽然通过《小白学习大数据测试之hadoop初探》以及把hadoop的基本核心说明白了，但是似乎对于小白来说还是会有点懵逼。。。。那么这次我们就在来看看大数据粗暴理解大数据甭管什么，简单粗暴的理解为大！大！大！对，你没看错，不管什么都是大就对了，哈哈哈哈大数据应用的功能抽象出来基本就是：数据采集、数据存储、数据处理（过滤、拆分、聚合）、数据分析、数据应用。说白了就是对从各处采集的数据经过一系列的
大数据框架Hadoop自主学习报告
大数据
hadoop
数据测试
转载
墨色天香
4月前
31阅读

从Hadoop框架讨论大数据生态
1 Hadoop是什么
hadoop
cloudera
数据
原创
年轻即出发
2022-11-11 10:16:18
78阅读
  • 1
  • 2
  • 3
  • 4
  • 5
精品课程领资料
免费资料>
2025软考
系统架构设计师 系统规划与管理师 软件设计师 系统集成项目管理工程师
信创认证
系统架构师 信创集成项目管理师 信创规划管理师 系统开发工程师
厂商认证
CKA/CKS架构师 红帽认证工程师 Oracle-OCP认证 Oracle-OCM认证
IT技术
数据库高级工程师 AIGC大模型实战 Linux云计算架构师 Python全栈开发
华为认证
数通HCIP认证 云计算HCIE认证 华为存储HCIE认证 HCIP安全认证
相关文章

介绍大数据处理框架Hadoop

大数据框架hadoop服务角色介绍

大数据框架hadoop安装以及简介

大数据框架大数据框架

MR的区别 大数据框架Spark与Hadoop 大数据hadoop和spark

hdfs 尚硅谷大数据技术之Hadoop 教学笔记 hadoop大数据框架

go 大数据处理框架 spark 大数据 spark hadoop

hadoop大数据前景 hadoop 大数据

电商大数据hadoop架构设计 简述hadoop大数据处理框架

大数据Hadoop 大数据hadoop是什么

Copyright © 2005-2025 51CTO.COM 版权所有 京ICP证060544号

关于我们
官方博客 全部文章 热门标签 班级博客
了解我们 网站地图 意见反馈
友情链接
鸿蒙开发者社区 51CTO学堂
51CTO 软考资讯