HDFS设计目标1）硬件错误是常态，数据保存需要冗余。2）数据批量读取，Hadoop擅长数据分析而不是事务处理。3）大规模数据集。4）简单一致醒模型，降低系统复杂度，文件一次写入多次读取，）“数据就近”原则分配数据节点。HDFS体系结构NameNodeDataNodeSecondayNameNode事务日志映像文件 NameNode文件系统命名空间记录
转载
2024-02-17 12:38:43
30阅读
1.hdfs的优缺点 （1）不适合大量小文件存储； （2）不适合并发写入，不支持文件随机修改；(只能append追加) （3）不支持随机读等低延时的访问方式 2.基本思想 主从结构 主节点， namenode 从节点，有很多个: datanodenamenode负责： 接收用户操作请求 维护文件系统
原创
2021-07-15 14:36:14
196阅读
写的不到位的地方，欢迎评论指出不足之处单机处理假设有一个 1T的文件I/O 磁盘处理速度是 500MB/s （机器硬盘：100+MB/s、固态硬盘：500MB/s、高速接口：1G - 3G/s ）分析1T 约 1000GB、1GB = 1000MB、1000GB = 500MB * 2000、即 2000秒2000秒 / 60秒 约 30分钟即：循环一次需要30分钟，若一直找不到匹配数据
转载
2024-08-07 10:21:12
43阅读
一：RPC框架封装思想 （一）实现原理 RPC（Remote Procedure Call）远程过程调用，它是一种通过网络从远程计算机程序上请求服务，而不需要了解底层网络技术的协议。 RPC协议假定某些传输协议的存在，如TCP或UDP，为通信程序之间携带信息数据。 在OSI网络通信模型中，RPC跨越
转载
2020-02-18 10:47:00
344阅读
2评论
一文搞懂HDFS，MapReduce，Yarn 的架构思想和设计原理
转载
2022-06-06 16:11:48
43阅读
Hadoop三大组件的架构思想和原理 ...
原创
2022-12-01 13:33:59
138阅读
Hadoop 三大组件：HDFS，MapReduce，Yarn 的架构分析和原理1引子 大数据就是将各种数据统一收集起来进行计算，发掘其中的价值。这些数据，既包括数据库的数据，也包括日志数据，还包括专门采集的用户行为数据；既包括企业内部自己产生的数据，也包括从第三方采购的数据，还包括使用网络爬虫获取的各种
推荐
原创
2023-01-07 00:14:02
785阅读
点赞
1引子 大数据就是将各种数据统一收集起来进行计算，发掘其中的价值。这些数据，既包括数据库的数据，也包括日志数据，还包括专门采集的用户行为数据；既包括企业内部自己产生的数据，也包括从第三方采购的数据，还包括使用网络爬虫获取的各种互联网公开数据 ... 面对如此庞大的数据，如何存储、如何有效利用大规模的服务器集群处理计算才是大数据技术的核心。2HDFS 分布式文件存储架构
转载
2021-12-21 14:29:33
346阅读
大数据 Hadoop 核心组件的架构思想和设计 ...
原创
2021-09-26 14:29:54
565阅读
点赞
1.hdfs工作原理： 1）hdfs是分布式文件系统，它由很多程序运行实例组成，包括namenode,d
原创
2022-08-23 10:20:28
45阅读
一、 设计思路分布式文件系统在Hadoop中文件系统是一个顶层的抽象。
分布式文件系统相当与对文件系统进行了一个扩展（类似于java中的接口）。
HDFS是分布式文件系统的一个实现，分布式文件系统还有许多其他的实现。二、设计目标1、硬件错误 是常态：特别是硬盘的损坏。所以存在副本机制。
2、数据流访问：所有的访问都是访问大量的数据，
使用IO流一直操作。稳定而不是效率。
3、大数据集：存
转载
2024-04-13 23:36:24
72阅读
理解松耦合的设计思想。 理解设计原则比掌握某一个具体的设计模式更重要。 设计
原创
2022-10-02 00:20:34
67阅读
面向对象思想概述第一个面向对象语言的基本特征：万物皆为对象。（封装）程序是对象的集合，它们通过发送消息来告知彼此所要做的。（方法调用）每个对象都有自己的由其他对象所构成的存储。（基本类型变量或自定义类型变量）每个对象都拥有其类型。（每个对象都是该类型的实例，对应java中的class）某一特定类型的所有对象都可以接收同样的消息。（多态）关于public、private、protected的理解：将
转载
2023-09-21 06:42:22
85阅读
1.关于抽象的进步。面向对象OOP的设计思路其实是把“抽象”这种编程方法进行了新的解释说明，把具体的人或事务抽象成了“类”“对象”的形式。面向对象的主要思想：万物即对象程序是对象的组合每个对象都有自己的空间，可以容纳其他对象每个对象都有自己的实例同一类的所有对象都能接收相同的消息2.对象的接口通过类构造对象，对象开放给使用者接口，此时使用者可以通过类的对象的接口给对象发出请求。3.面向对象编程要提
转载
2023-07-21 13:49:30
76阅读
我发现了一些Java 8代码中可以帮助我们的一些选择，让我们一起来看看吧。1.Optional Optional是一个严重被低估的功能，并且有潜力删除很多困扰我们的NullPointerExceptions。这在代码边界中（要么是正在使用的API，要么是正在暴露的API）特别有用，因为它允许你和你的调用代码来推理所期待的东西。 然而，不加思考和设计就应用Optional可能会导致影响大量的类，并
转载
2024-10-27 15:15:58
13阅读
一、java是什么？Java是一门面向对象编程语言.不仅吸收了C++语言的各种优点，还摒弃了C++里难以理解的多继承、指针等概念。 因此Java语言具有功能强大和简单易用两个特征。Java语言作为静态面向对象编程语言的代表，极好地实现了面向对象理论，允许程序员以优雅的思维方式进行复杂的编程。二、面向对象是什么？它的基本特征是什么？面向对象(Object Oriented)是软件开发方法。面向对
转载
2023-08-08 14:46:13
149阅读
JAVA的核心思想：面向对象，一切事物皆对象。而面向对象的四个特性才构成了面向对象。下面我将不会为你解释概念，只为你举出一些例子帮助你理解： 1.抽象：比如，我们将水果看做一个对象，而水果中又有苹果、梨子等等一系列的分类，在我们眼中，水果是对象，而苹果、梨子等也都是对象，对一个苹果而言，你会关心这个苹果产自哪里，苹果是姓什么吗？不会，这就是抽象，去掉我们不关心的，我们只关心它就是个苹果 2.继承：
转载
2023-09-22 18:09:41
68阅读
Java学习总结（三） —— 面向对象思想一、面向对象思想概述二、类与对象1. 什么是类？2. 什么是对象？3. 类与对象的关系4. 对象的内存图4.1 一个对象，调用一个方法内存图4.2 两个对象，调用同一方法内存图4.3 一个引用，作为参数传递到方法中内存图5. 成员变量和局部变量区别 一、面向对象思想概述Java语言是一种面向对象的程序设计语言，而面向对象思想是一种程序设计思想，我们在面向
转载
2024-06-24 05:52:20
43阅读
--javaOp思想基本内容--1.通过构造方法来创建对象类名 对象名 =new 类名称 前面的类名标识可以点出什么内容,后面的类名标识可以点出的真实类型对象名.属性 通过这种方法调试属性对象名.方法名() 通过这种方式调用方2.类与对象面向对象的过程发现类发现类的属性发现类的方法构造方法与重
转载
2023-08-18 18:52:20
71阅读
java面向对象的特征之一：封装1、封装性的使用package edu.tongji.classdemo;
/*
封装性
1.封装的目的：保护某些属性和方法不被外部所见
2.封装的实现
为属性和方法进行封装通过关键爱你字private声明
实现该属性的set和get方法，为外部所访问
*/
class Person{
private int age;
private String
转载
2023-12-17 16:00:26
32阅读
