Hadoop是一个开发和运行处理大规模数据的软件平台,是Apache的一个用Java语言实现开源软件框架，实现在大量计算机组成的集群中对海量数据进行分布式计算。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力高速运算和存储。 Hadoop框架中最核心设计就是：HDFS和MapReduce
大数据概论应知应会：1.认识大数据基本概念2.认识大数据生态圈3.认识大数据行业落地案例业务实战：搭建Hadoop分布式集群HTML5(H5)基本文档结构大数据背景认识HadoopHadoop架构和组件Hadoop生态系统Hadoop经典落地案例Hadoop安装部署及集群搭建访问HDFS应知应会：1.掌握HDFS的特性2.理解HDFS的设计目标3.掌握HDFS的体系结构4.理解数据块基本概念5.掌
转载
2024-04-01 15:57:36
43阅读
我们通过hadoop shell上传的文件是存放在DataNode的block中，通过linux shell是看不到文件的，只能看到block。
可以一句话描述HDFS：
把客户端的大文件存放在很多节点的数据块中
。在这里，出现了三个关键词：文件、节点、数据块。HDFS就是围绕着这三个关键词设计的，我们在学习的时候也要紧抓住这三个关键词来学习。
NameNode
作用
NameNode
转载
2024-08-02 16:30:50
61阅读
JAVA不单是一门计算机编程语言，而且还是一种基于WEB的全方位软件开发技术，java特定运行平台及关键特点 java开发工具包的安装，配置与应用 java语言的基本概念 java面向对象编程java体系结构 java是在C++基础上发展起来的，语法与C++相似的面向对象的语言（JAVA会认为是Internet版本的C++，其实不然，JAVA受到C++影响，但不是C++增强版，它和C++又各有所长
转载
2023-10-05 11:38:19
118阅读
一、介绍HDFS （Hadoop Distributed File System）是 Hadoop 下的分布式文件系统，具有高容错、高吞吐量等特性，可以部署在低成本的硬件上。二、HDFS 设计原理 2.1 HDFS 架构HDFS 遵循主/从架构，由单个 NameNode(NN) 和多个 DataNode(DN) 组成：NameNode : 负责执行有关 文件系统命名空间 的操作，例如打
转载
2023-12-19 22:35:48
66阅读
先来看看几个基本概念： 1.Namespace（命名空间）： 1）.有目录文件以及block组成 2）.他支持所有对于命名空间相关系统的操作，如增删改查。 2.Block Storage Service （快存储服务）有两个部分 1）.管理Block（在NameNode中完成） a.通过控制注册以及阶段性的心跳，来保证DataNode在正确运行 b.运行block信息报告，维护block
转载
2024-05-15 09:04:16
63阅读
HDFS 采用了主从（Master/Slave）结构模型，一个HDFS 集群是由一个NameNode 和若干个DataNode 组成的。其中NameNode 作为
原创
2023-05-16 00:57:57
309阅读
HDFS体系结构HDFS支持主从结构，主节点称为 NameNode ，是因为主节点上运行的有NameNode进程，NameNode支持多个，目前我们的集群中只配置了一个从节点称为 DataNode ，是因为从节点上面运行的有DataNode进程，DataNode支持多个，目前我们的集群中有两个HDFS中还包含一个 SecondaryNameNode 进程，这个进程从字面意思上看像是第二个NameN
原创
精选
2023-09-14 20:07:28
356阅读
Hadoop Distributed File System (HDFS)是一种分布式文件系统，具有高容错性，可运行在廉价的硬件上，具有高吞吐量，特别适合存放大规模数据集。HDFS实际架构非常复杂，今天通过一篇文章来浓缩最关键的几个点，结合图和源码等理解HDFS体系架构。系统设计目标硬件故障 具有硬件故障检测能力，可自动快速恢复。流式数据访问 高数据访问吞吐量，而非低延时。大数据集 需支持大数据集
转载
2023-12-17 12:18:14
47阅读
要说剖析，可能这个词可能用的太大了，以下对Android系统的介绍也就是从我个人理解来说吧。 以前有人问我，Android是什么？当时这个问题问的我真的蒙了，我就简单的回了一下：Android就是一个基于移动设备的操作系统。时至今日，这个问题我才知道回答的太浅了。我想仅仅有真正
转载
2023-08-15 22:02:41
128阅读
最近一个月接触Android，开始做一些app的开发，通过参考网络上的资料，阅读Android相关的书籍，从无知到了解，也总算是小有心得，今天起 开始慢慢的总结Android的知识，来进一步的加深自己的学习，那么首先来了解一下Android整个的体系结构。 Android是一种基于Linu
转载
2023-10-18 16:15:18
102阅读
Java IO体系综述一、流的概念在Java API中，可以从其中读入一个字节序列的对象称作输入流，而可以向其中写入一个字节序列的对象称作输出流。这些字节序列的来源地和目的地可以是文件，而且通常都是文件，但是也可以是网络连接，甚至是内存块。编程语言的I/O类库中使用流这个抽象概念，它代表任何有能力产出数据的数据源对象或者是有能力接收数据的接收端对象。Java中I/O操作主要是指使用Jav
转载
2023-08-30 15:18:43
0阅读
Title：区块链应用于物联网：一种应用于物联网的，可扩展访问管理的体系结构Abstract：物联网正在从它的婴儿期走出去，进入完全的成熟期，并且它正在使自己成为未来互联网的一员。对于部署在全球数十亿的设备的管理能力，是其中一个技术挑战。虽然物联网中已经出现访问管理技术，但是这些技术都基于集中式框架，这种框架引进了一些新的全球管理设备的技术限制。在这篇论文中，我们提出了在物联网中对于仲裁角色（仲裁
转载
2024-04-29 20:27:59
18阅读
HDFS的体系框架是Master/Slave结构，一个典型的HDFS通常由单个NameNode和多个DataNode组成。NameNode是一个中心服务器，负责文件系统的名字空间的操作，比如打开、关闭、重命名文件或目录，它负责维护文件路径到数据块的映射，数据块到DataNode的映射，以及监控DataNode的心跳和维护数据块副本的个数。集群中的DataNode一般是一个节点一个，负责管理它所在节
原创
2015-05-25 14:52:24
3643阅读
转载
2019-07-26 14:36:00
161阅读
2评论
异常的体系结构： java.lang.throwable java.lang.Rrror:一般不编写针对性的代码进行处理 java.land.exception:可以进行异常的处理 编译时异常（checked） IOException
FileNotFoundException
ClassNotFoundException
运行时异常（unchecked）
NullPointerExcep
转载
2023-12-07 11:26:55
36阅读
编写一个Servlet的步骤：1、其实我们要写一个Servlet只要写一个类去实现Servlet就可以了，但是，Servlet里面有很多的方法，我们没有必要每次为了写一个Servlet而去实现这么多方法。2、所以这里提供了一个GenericServlet，这个类实现了一些方法，我们可以直接继承这个类还不用去实现Servlet,但是我们要做的web,实现Http协议。GenericServlet里面
转载
2023-06-13 23:41:38
152阅读
继续写笔记，清清脑子在Hadoop2.0以后便不再有Tasktacker，也不会有JobTracker，而是以ResourceManger和ApplicationMaster代替，但是要想理清yarn的原理结构还必须从Hadoop1.0的TaskTracker和JobTracker说起。 Hadoop1.0的执行流程（我是搬运工。。。。。这段等我弄懂了再修改）： 首先用户程序（JobClinet
转载
2024-05-29 23:02:46
54阅读
解答疑问一：单机模式的Hbase应该是默认把数据存在本机硬盘中，直接对接的是本机的文件系统对吧？没有用到HDFS吧？单机模式要对接HDFS应该要主动配置HDFS的对吧？作为hbase无论单机也好，集群也好，它都内置了hdfs客户端，如果在hbase配置了hdfs集群地址它就依赖，数据存储到hdfs；配置了本地目录，它就不依赖hdfs，直接存储到本地磁盘。解答疑问二：Hbase 的 Hlog （WA
转载
2024-09-24 02:44:01
31阅读
1.对hdfs操作的命令格式是hadoop fs 1.1 -ls 表示对hdfs下一级目录的查看 1.2 -lsr 表示对hdfs目录的递归查看 1.3 -mkdir 创建目录 1.4 -put 从linux上传文件到hdfs 1.5 -get 从hdfs下载文件到linux 1....
转载
2014-12-23 19:52:00
104阅读
2评论
