文章目录1. HDFS整体运行机制2. HDFS的核心工作原理2.1 什么是元数据？2.2 元数据由谁负责管理？2.3 namenode把元数据记录在哪里？2.4 综述3. 安装HDFS集群的具体步骤3.1 集群节点规划3.2 搭建hdp-01虚拟机3.3 hdp-01虚拟机修改配置文件3.4 克隆虚拟机hdp-013.5 在hdp-01节点启动namenode进程 1. HDFS整体运行机制h
转载
2024-04-19 17:37:19
115阅读
1.第一点：如何理解hdfs分布式文件系统，每台机器出一块磁盘，凑成一个大的硬盘，大的硬盘的容量来自各个服务器的硬盘容量之和。你出5毛，我出5毛，大家凑成1块。2. HDFS 是 Hadoop Distribute File System 的简称，意为：Hadoop 分布式文件系统。是 Hadoop 核心组件之一，作为最底层的分布式存储服务而存在。3.hdfs的特性：（1）master/slave
转载
2024-04-02 10:15:43
149阅读
hdfs原理之四大机制 一、心跳机制 1、心跳报告概念 datanode会定时的向namenode发送心跳报告，目的是告诉namenode自己的存活状况以及可用空间。这个时间默认为3秒。 2、心跳报告具体作用 （1）向namenode汇报自己的存活状况以及可用空间 （2）向namenode发送块报告
转载
2020-07-21 14:36:00
202阅读
2评论
四大机制：（1）心跳机制：  介绍：hdfs是主从架构，所有为了实时的得知dataNode是否存活，必须建立心跳机制，在整个hdfs运行过程中，dataNode会定时的向nameNode发送心跳报告已告知nameNode自己的状态。  心跳内容：   -报告自己的存活状态，每次汇报之后都会更新维护的计数信息 &emsp
原创
2019-01-11 17:09:51
2979阅读
点赞
应用erlang的behaviour 框架(gen_server,gen_fsm,gen_event,supervisor)在处理很多情况的时候省下大量不必要的代码,使用的时候在框架基础添加自定义逻辑就可以搭建项目了，可以说是精髓。gen_server：提供的是client和server之间，请求和回调的处理。 Client --请求-->Server Server -
转载
2023-01-08 09:49:09
480阅读
1.HDFS（ 存储功能）特点： 大规模数据集（支持节点扩展）简单一致性模型（一次写入多次读取）流式数据访问（对数据进行批量处理，而不是用户交互处理）硬件错误（有很强的容错能力）权限问题（写入者就是拥有者）。安全性，不是很高。2.HDFS组成：namenode datanode 以及secondarynamenode，edits，fsimage等 namenode（管理者）
：存
转载
2024-07-26 11:18:15
124阅读
Android四大基本组件分别是Activity，Service服务,Content Provider内容提供者，BroadcastReceiver广播接收器。一:了解四大基本组件Activity :应用程序中，一个Activity通常就是一个单独的屏幕，它上面可以显示一些控件也可以监听并处理用户的事件做出响应。Activity之间通过Intent进行通信。在Intent 的描述结构中，有两个最重
转载
2023-08-02 16:10:40
759阅读
NoSQL数据库的四大家族 1、键值(Key-Value)存储数据库 这一类数据库主要会使用到一个哈希表，这个表中有一个特定的键和一个指针指向特定的数据。Key/value模型对于IT系统来说的优势在于简单、易部署。但是如果DBA只对部分值进行查询或更新的时候，Key/value就显得效率低下了。 相关数据库Tokyo Cabinet/Tyrant、Redis、Voldemort、Berke
转载
2024-05-28 14:32:23
58阅读
物联网 (Internet of Thing, IoT) 的广义定义，光从字面上来解读就是万物皆可连接到网络，但光是上网还不够，想象如果这些装智可以多了项人类的智慧，彼此可以做沟通跟交换来便利我们的生活，这才是物联网诞生最主要的起源，就像我们每每观看科技电影般，室内的空调可以依据目前的气温来做开启，让我们一回家就可以享受到暖气，而并非靠着人为的遥控及远程设定。又或着像我们去医院做检查后，机器自
转载
2024-04-26 18:10:36
4阅读
物联网工程是一个特别广泛的学科，因为物联网应用正是遍及我们生活的方方面面的东西，所以它所涉及的技术
原创
2022-08-02 10:04:34
1427阅读
hdfs如何让某些数据查询快，某些数据查询慢？hdfs冷热数据分层存储本质： 不同路径制定不同的存储策略。hdfs存储策略hdfs的存储策略 依赖于底层的存储介质。hdfs支持的存储介质：ARCHIVE：高存储密度但耗电较少的存储介质，例如磁带，通常用来存储冷数据DISK：磁盘介质，这是HDFS最早支持的存储介质SSD：固态硬盘，是一种新型存储介质，目前被不少互联网公司使用RAM_DISK ：数据
转载
2024-05-07 11:40:30
124阅读
微服务的开发模式和单体服务差异比较大，对设计、开发、测试、运维等研发流程的各个阶段都提出了新的挑战。
原创
精选
2022-08-27 22:40:29
625阅读
点赞
微服务的开发模式和单体服务差异比较大，对设计、开发、测试、运维等研发流程的各个阶段都提出了新的挑战。
原创
2023-04-03 21:58:03
242阅读
点赞
Android四大组件是：活动、服务、广播接收器、内容提供商。它们的英文名称是ACTIVITY、SERVICE、BroadcastReceiver、Content Provider。四个组件分别起到不同的作用，相互配合才能确保安卓系统的正常运行，因此是缺一不可的。Android四大组件及其作用1、活动(activity)Activity可以看成是安卓系统的根本，在这个根本上才可以进行其他的工作，因
转载
2023-07-03 00:35:02
139阅读
Android四大组件分别为Activity、Service、Content Provider、Broadcast Receiver。一、android四大组件详解1、Activity 一个Activity是一个应用程序组件，提供一个屏幕，用户可以用来交互为了完成某项任务，例如拨号、拍照、发送email、看地图。每一个Activity被给予一个窗口，在上面可以绘制用户接口。窗
转载
2023-07-03 00:34:54
112阅读
一.Java初识四大特性：跨平台、自动垃圾回收、面向对象、多线程编译型语言 : 运行效率高,但是跨平台性能差 解释型语言 : 运行效率低,但是跨平台性能好 静态语言 : 创建变量的时候,必须先指定空间,说明类型 动态语言 : 不需要指定类型,在运行的时候,自动指定 强类型语言 : 一旦类型确定,不能更改,除非强制更改 弱类型语言 : 根据当前运行的上下文环境,进行类型的自动转换二.数据类型共有两种
转载
2023-08-21 10:35:23
158阅读
通常有下列四类基本的结构：
⑴集合结构。该结构的数据元素间的关系是“属于同一个集合”。
⑵线性结构。该结构的数据元素之间存在着一对一的关系。
⑶树型结构。该结构的数据元素之间存在着一对多的关系。
⑷图形结构。该结构的数据元素之间存在着多对多的关系，也称网状结构。1.集合结构所谓集合就收我们中学学的这个：若x是集合A的元素，则记作x∈A。集合中的元素有三个特征：1).确定性（集合中的元素必须是确定的
转载
2023-07-15 15:44:32
336阅读
赶上明天就还是五一c小长假了，准备在这几天写几篇原创文章，供大家一起学习。首先今天就来好好地唠一唠，到底java的那几个特性都是什么呢？到底怎么用呢？相信一定有一些小白对此会有些懊恼，没关系的，谁还不是从那个时候过来的呢！接下来我来一步一步的由潜到深的谈一谈我的看法，下面是我要说的内容1.总体概括2.概念的理解3.代码示例并且分析4.个人心得总结1.总体概括sequenceDiagram封装-&g
转载
2023-12-05 13:31:54
58阅读
1、 MySQL的各个模块 a) 初始化模块 初始化模块在数据库启动的时候，对整个数据库做的一些初始化操作，例如各种系统变量的初始化，各种缓存，存储引擎的初始化设置等等。 b) 核心API 核心API实现了数据库底层操作的优化功能，其中主要包括IO操作，格式化输出，高性能存储数据结果算法的优
转载
2024-01-28 18:30:54
56阅读
1HDFS概述概述：HDFS它是一个文件系统，用于存储文件，通过目录树来定位文件；其次，它是分布式的有很多服务器联合起来实现其功能，集群中的服务器有各自的角色。使用场景：适合一次写入，多次读出的场景切不支持文件的修改。适合用来做数据分析，并不适合用来做网盘应用优点:1容错性高，数据自动保存多个副本，它通过副本的形式，提高容错性。某一个副本丢失以后，它可以自动恢复。2适合做大数据分析 1数据规模：能
转载
2023-08-06 11:49:36
186阅读
