一、大数据概述大数据：主要解决海量数据的采集、存储和分析计算问题存储单位：bit 、Byte、KB、MB、GB、TB、PB、EB、ZB、YB特点：大量、高速、多样、低价值密度应用：广告推荐、零售、物流仓储、保险、金融、房产、人工智能、5G、物联网、VR二、Hadoop入门1. 概念<1>分布式系统基础架构。 <2>解决海量数据的存储和海量数据的分析计算问题。 <3&g
转载
2023-09-27 22:12:18
65阅读
Hadoop官方的中文文档
http://hadoop.apache.org/common/docs/r0.18.2/cn/index.html
Hadoop学习资料 -- 这里面总结了很多的东西，值得一一细看
http://cloud21.javaeye.com/blog/607175
关于Hadoop的两本书 -- 有电子书下载
http:/
转载
精选
2012-10-29 12:41:51
573阅读
hadoop相关资料 http://lbxc.iteye.com/blog/1819794
原创
2023-06-15 00:15:00
60阅读
Hadoop 学习资料 | 网址 | 官方文档 | https://hadoop.apache.org/docs/r1.0.4/cn/index.html 版本文档索引 | http://hadoop.apache.org/docs/
转载
2019-10-27 17:02:00
345阅读
2评论
Hive 是建立在 Hadoop 上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储、查
原创
2023-09-20 12:12:10
52阅读
# 尚硅谷 Hadoop 资料科普
Hadoop是一个开源框架，用于分布式存储和处理大规模数据集。它的核心理念是通过水平扩展，将任务分布到多个计算节点上，从而实现高效的数据处理。本文将介绍Hadoop的基本构成、工作原理，并提供简单的代码示例，帮助读者更好地理解Hadoop的使用。
## Hadoop的基本构成
Hadoop主要由两个核心组件组成：
1. **Hadoop分布式文件系统（H
JobQueueTaskScheduler: 默认的FIFO调度队列
LimitTasksPerJobTaskScheduler: 扩展自JobQueueTaskScheduler, 可以对每个Job的task总数作限制.
CapacityScheduler: Yahoo开发的一个基于容量的作业调度器
FairScheduler: 公平调度器, 保证小任务
转载
精选
2011-03-15 12:49:26
1256阅读
发现一篇好的博客：http://blog.csdn.net/luyee2010/article/category/1311168mapreduce的过程写的很好：http://blog.csdn.net/luyee2010/article/details/8623124mapreduce实例练习：http://www.cnblogs.com/xia520pi/archive/2012/06/04/
原创
2014-06-05 15:58:42
461阅读
# 将资料上传到Hadoop的完整指南
在大数据处理领域，Hadoop是一个广泛使用的开源框架，它能够存储和处理大量数据。对于初学者而言，将资料上传到Hadoop的过程可能显得复杂，但只要掌握一些基本步骤，您就能顺利完成上传。本文将分步骤详细说明如何将资料上传到Hadoop，并通过相应的代码示例进行解释。
## 1. 整体流程
为了帮助理解整个过程，我们将以表格形式展示上传资料到Hadoop
前言 hadoop已经有很多资料了，所以在此只敢说整理，顺便分享下自己的想法。 我觉得，hadoop这东西要弄过搜索引擎方向最容易上手，对一个外行人，忽然介入，会遇到很多新概念和新理念。 如果你是第一次看到hadoop，那用这种说法来让你理解： hadoop = MapReduce+HDFS（hadoop 文件系统） 进一步解释： MapReduce是一个项目，HDFS是另一个项目，他
原创
2012-10-25 18:57:01
1428阅读
点赞
一.简介1.三大公司:(1) 软件收费版本ClouderManager https://www.cloudera.com/ (2)免费开源版本hortonWorks (3)免费开源版本apache：2.范围(1) 狭义上来说，hadoop就是单独指代hadoop这个软件 (2)广义上来说，hadoop指代大数据的一个生态圈，包括很多其他的软件3.发展历史(1)Lucune–Nutch --hado
转载
2023-09-22 13:32:03
29阅读
Hadoop因其在大数据处理领域具有广泛的实用性以及良好的易用性，自2007年推出后，很快在工业界得到普及应用，同时得到了学术界的广泛关注和研究。在短短的几年中，Hadoop很快成为到目前为止最为成功、最广泛接受使用的大数据处理主流技术和系统平台，并且成为一种大数据处理事实上的工业标准，那么，关于大数据Hadoop相关的知识你都了解吗？下面我们一起来看下吧
转载
2023-09-01 08:55:12
38阅读
在上一篇中，用到了hadoop的compression codecs组件（gzip，还另有：zlib，lzo），其中，gzip和lzo压缩编解码器必须使用hadoop本地库才能运行，如果没有配置好，则会报以下错误： 13/08/09 23:28:49 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your
转载
2024-05-28 23:41:17
10阅读
Hadoop是一个分布式系统基础架构，由Apache基金会开发。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力高速运算和存储。简单地说来，Hadoop是一个可以更容易开发和运行处理大规模数据的软件平台。
Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有着高容错性（fault-toler
转载
精选
2012-04-10 00:35:14
822阅读
目录(?)[+]看到这里收藏的资料很多，先摘过来，学到那块看那块，不断深入……原文地址：http://www.cnblogs.com/xia520pi/archive/2012/01/02/2310118.html1）Cygwin相关资料 （1）Cygwin上安装、启动ssh服务失败、ssh localhost失败的解决方案 地址
转载
2021-07-29 10:09:40
610阅读
1.概述Hadoop3已经发布很久了，迭代集成的一些新特性也是很有用的。截止本篇书写为止，Hadoop发布了3.2.0。接下来，笔者就为大家分享一下在使用Hadoop3中遇到到一些问题，以及解决方法。2.内容2.1 基础软件包在使用这些组件时，我们需要做一些准备工作，内容如下：Hadoop-3.2.0安装包（建议Hadoop-3.2.0源代码也一起下载，后面步骤需要用到）Maven-3.6.1
转载
2024-01-16 22:10:37
52阅读
YARNYARN(Yet Another Resource Negotiator)是Hadoop2.0集群中负责资源管理和调度以及监控运行在它上面的各种应用，是hadoop2.0中的核心，它类似于一个分布式操作系统，通过它的api编写的应用可以跑在它上面，支持临时和常驻的应用，集群的资源可以得到最大限度的共享。资源是指CPU，内存，硬盘，带宽等可以量化的东西。 YARN 概述
转载
2023-09-01 08:09:04
60阅读
package com.itheima;
import java.util.ArrayList;
import java.util.Iterator;
/**
需求：创建ArrayList对象，添加5个元素，使用Iterator遍历输出
思路：
建立一个新的ArrayList集合对象
添加5个元素
用Iterator遍历输出
@author run_wind
*/
class
转载
2023-11-25 21:55:14
25阅读
