# Hadoop 存储机制
Hadoop 是一个开源的分布式存储和计算框架，其中的存储机制是其核心之一。Hadoop 使用一种称为 HDFS（Hadoop Distributed File System）的分布式文件系统来存储数据，以实现高可靠性和高容量的数据存储。
## HDFS 架构
HDFS 采用主从架构，由一个 NameNode 和多个 DataNode 组成。NameNode 负责
原创
2024-06-11 03:35:31
10阅读
1、栈 statck 局部变量名称 2、堆 heap 带new的 3、方法区 method area .class
原创
2021-07-14 11:09:44
154阅读
在HTML5之前，开发人员一般是通过使用Cookie在客户端保存一些简单的信息的。在HTML5发布后，提供了一种新的客户端本地保存数据的方法，那就是Web Storage，它也被
iCloud通过WIFI,可以自动备份用户设备里的数据。除了程序本身、cache目录，和temp目录外，其它的数据都会备份。购买的音乐，app，电子书，相片，设备设置，主界面，app组织，信息和铃声都会被备份。因为备份是通过无线存储在用户iCloud帐户中，而iCloud帐户的存储空间有限，所以最好将你app需要备份的数据减少到最小。大文件需要花费更长的时间去备份，同时会消耗更多用户的iClo
转载
2023-07-08 15:57:05
261阅读
偶然看到一道面试题，Java在实例化一个类的时候，数据在堆和栈中是如何存放的？public class A{
public int i=1;
public static A a1 = new A();
public static void mian(String args[]){
int c = 2;
A a=new A();
}
}答案是：
转载
2024-02-19 21:20:46
11阅读
Redis是一种高级key-value数据库。数据可以持久化，而且支持的数据类型很丰富。有字符串，列表，集合和有序集合。支持在服务器端计算集合的交、并、补集(difference)等，还支持多种排序功能。所以Redis也可以被看成是一个数据结构服务器。一、什么是持久化Redis的所有数据都是保存在内存中，然后不定期的通过异步方式保存到磁盘上(这称为“半持久化模式”)；也可以把每一次数据变化都写入到
转载
2023-08-11 09:55:47
183阅读
前戏部分# python中定义一个变量，如：`name = 'the3times'`，在计算机底层会发生这样一件事：操作系统调用硬件，在内存中开辟一块空间，将值'the3times'存放在这块内存空间中；然后将变量名name与这块内存空间的地址绑定关联在一起；程序通过变量名name的调用来唯一访问值'the3times'。
# 这样的话，如果程序中有许多变量需要定义就会在内存中开辟大量的内存空间
转载
2023-08-08 08:39:38
116阅读
MySql基础学习注明：文章笔记均来自哔哩哔哩视频学习一、引言1.1 现有的数据存储方式有哪些？Java程序存储数据（变量、对象、数组、集合），数据保存在内存中，属于瞬时状态存储。文件（File）存储数据，保存在硬盘上，属于持久状态存储。1.2 以上存储方式存在哪些缺点？没有数据类型的区分。存储数据量极小。没有安全访问限制。没有备份、恢复机制。二、数据库2.1 概念数据库是按照数据接口来组织、存储
转载
2023-09-05 18:36:40
91阅读
作为一个完成的应用程序，数据存储操作是必不可少的。因此，Android系统一共提供了四种数据存储方式。分别是：SharePreference、SQLite、Content Provider和File。由于Android系统中，数据基本都是私有的的，都是存放于“data/data/程序包名”目录下，所以要实现数据共享，正确方式是使用Content Provideradb shell //进入emu
转载
2024-02-24 09:29:05
25阅读
一、日志存储Kafka的消息以日志文件的形式进行存储。不同主题下不同分区的消息是分开存储的。同一个分区的不同副本也是以日志的形式，分布在不同的broker上存储查看/tmp/kafka-logs目录，假设有4个partition 在Kafka文件存储中，同一个topic下有多个不同的partition，每个partiton为一个目录， partition的名称规则为：topic名称+有序序号
转载
2024-02-16 12:01:45
70阅读
1.分块储存简介: HDFS中的文件在物理上是分块储存(block)的,默认大小在Hadoop2.x版本中是128M(可调)现在用户手上有一个文件数据下面有一个大的核心交换机,与三个小的核心交换机HDFS会将文件以分块的方式将文件存放在HDFS文件系统中2.副本存放机制第一块数据来自客户端,10M还是上面的集群图第一块数据会按照一定的规则(根据CPU,内存,磁盘...
原创
2021-12-29 15:33:29
676阅读
1.分块储存简介: HDFS中的文件在物理上是分块储存(block)的,默认大小在Hadoop2.x版本中是128M(可调)现在用户手上有一个文件数据下面有一个大的核心交换机,与三个小的核心交换机HDFS会将文件以分块的方式将文件存放在HDFS文件系统中2.副本存放机制第一块数据来自客户端,10M还是上面的集群图第一块数据会按照一定的规则(根据CPU,内存,磁盘...
原创
2022-02-16 16:06:05
893阅读
android Java开发设计模式及在android中的应用解析什么是设计模式：可以用一句话概括设计模式———设计模式是一种利用OOP的封闭、继承和多态三大特性，同时在遵循单一职责原则、开闭原则、里氏替换原则、迪米特法则、依赖倒置原则、接口隔离原则及合成/聚合复用原则的前提下，被总结出来的经过反复实践并被多数人知晓且经过分类和设计的可重用的软件设计方式。设计模式的六大原则1、开闭原则（Open
转载
2023-12-15 12:43:02
54阅读
HBase写机制默认情况下，执行写入时会写到两个地方：预写式日志（write-ahead log,也称HLog）和MenStore。Hbase默认方式是把写入动作记录在这两个地方，以保证数据持久化。只有当这两个地方的变化信息都写入并确认后，才认为写动作完成。
MemStore是内存里的写入缓冲区，HBase中数据在永久写入磁盘之前在这里累积。当Memstore填满后，其中的数据会刷写到硬盘，生
转载
2023-06-14 22:41:55
64阅读
Kafka架构1、Kafka工作流程Kafka中消息是以topic进行分类的，生产者生产消息，消费者消费消息，都是面向topic的。一个topic下的每一个分区都单独维护自己的offset，所以分发到不同分区中的数据是不同的数据。消费者的分区维护是一个消费者组一个主题的一个分区维护一个offset。通俗点说：一个分区对应于一个消费者，消费者对应记录对应分区的offset，从而获取数据。2、Kafk
转载
2024-04-02 14:28:04
39阅读
Android笔试准备
文章目录
Android笔试准备
序章、Android相关0.1、Android系统架构0.2、 Android 的四大组件第一章、Activity1.1、Activity的生命周期1.2、Activity 的四种启动模式1.3、Activity的onSaveInstanceState（）和onRestoreInstanceS
转载
2023-08-24 15:21:06
56阅读
1. Kafka文件存储机制 从图中可以获取的信息：1. producer和consumer group进行写入和读取都是面向副本中的leader 2.同一个分区的不同副本不可以存储在同一个broker上 3.同一个broker上没有对topic和分区的限制，一个broker上可以有多个topic，也可以有一个topic的多个partition 4.消息是以topic进行分类的；kafka数据存储
转载
2024-03-27 17:15:37
62阅读
分析过程分为以下3个步骤:topic中partition存储分布partiton中segment文件存储结构在partition中如何通过offset查找message一.topic中partition存储分布在Kafka文件存储中，同一个topic下有多个不同partition，每个partition为一个目录，partiton命名规则为topic名称+有序序号，第一个partiton序号从0开
转载
2024-04-08 12:53:26
84阅读
理解作用域存储Android长久以来都支持外置存储空间这个功能，也就是我们常说的SD卡存储。这个功能使用得极其广泛，几乎所有的App都喜欢在SD卡的根目录下建立一个自己专属的目录，用来存放各类文件和数据。那么这么做有什么好处吗？第一，存储在SD卡的文件不会计入到应用程序的占用空间当中，也就是说即使你在SD卡存放了1G的文件，你的应用程序在设置中显示的占用空间仍然可能只有几十K。第二，存储在SD卡的
转载
2023-08-17 22:36:56
1876阅读
Android 10的ScopedStorage(分区存储)的介绍.Scoped Storage的由来Android长久以来都支持外置存储空间这个功能，也就是我们常说的SD卡存储。这个功能使用得极其广泛，几乎所以开发者在开发的时都喜欢在SD卡的根目录下建立一个自己应用的专属的目录，用来存放各类文件和数据。导致SD卡的文件管理变的异常混乱。而且用户即使我卸载了一个完全不再使用的程序，它所产生的垃圾文
转载
2024-05-08 14:06:16
129阅读
