HDFS（Hadoop Distributed File System）分布式文件存储系统，主要为各类分布式计算框架如Spark、MapReduce等提供海量数据存储服务，同时HBase、Hive底层存储也依赖于HDFS。HDFS提供一个统一的抽象目录树，客户端可通过路径来访问文件。HDFS集群分为两大角色：Namenode、Datanode（非HA模式会存在Secondary Namenode）
导读 本文详细地介绍了Doris的compaction机制。
首先，从producer-consumer模式以及compaction任务提交的permission机制对compaction的总体设计和架构原理进行了剖析；然后，针对cumulative compaction的size_based策略进行了详细地介绍；最后，对base compaction的流程进行了深入地
再理解HDFS的存储机制1. HDFS开创性地设计出一套文件存储方式，即对文件分割后分别存放；2. HDFS将要存储的大文件进行分割，分割后存放在既定的存储块(Block)中，并通过预先设定的优化处理，模式对存储的数据进行预处理，从而解决了大文件储存与计算的需求；3. 一个HDFS集群包括两大部分，即NameNode与DataNode。一般来说，一个集群中会有一个NameNode和多个DataNo
Doris之磁盘空间管理（重点）磁盘存储空间有关的系统参数和处理策略。Doris 的数据磁盘空间如果不加以控制，会因磁盘写满而导致进程挂掉。因此我们监测磁盘的使用率和剩余空间，通过设置不同的警戒水位，来控制 Doris 系统中的各项操作，尽量避免发生磁盘被写满的情况。名词解释FE：Frontend，Doris 的前端节点。负责元数据管理和请求接入。 BE：Backend，Doris 的后端节点。负
读数据过程： 1.客户端调用FileSystem 实例的open 方法，获得这个文件对应的输入流InputStream2.访问NameNode，获取文件对应数据块的保存位置，包括副本位置。3.获得输入流之后，客户端便调用read()方法读取数据。选择最近的datanode进行连接并读取数据。4.如果客户端与一个datanode位
Hadoop培训认证：HDFS文件存取机制，一个分布式文件系统最基本的功能就是读和写，本节将描述HDFS的文件存取机制。1.HDFS读文件数据流在读取HDFS的文件时，首先客户端调用FileSystem的open( )函数打开文件，DistributedFileSystem用RPC调用元数据节点，得到文件的数据块信息。对于每一个数据块，元数据节点返回保存数据块的数据节点的地址。Distribute
同时对于 FutureRetailer 来说，过去的数据分析只是一个方面，更为重要的是对于未来的预测和分析。比如未来商品销售估计，并据此制订采购计划 。随着新零售的兴起，未来的消费者需要的是更为个性化的服务和产品，如何将这种个性化的商品和服务提供给消费者？马爸爸也说过：“纯电商时代过去了，未来十年是新零售的时代”。对 FutureRetailer 来说，未来的购物也许将会是如下情景：1 ）一位资深
分布式系统分布式系统（distributed system）是建立在网络之上的软件系统。正是因为软件的特性，所以分布式系统具有高度的内聚性和透明性。因此，网络和分布式系统之间的区别更多的在于高层软件（特别是操作系统），而不是硬件。HadoopHadoop是一个由Apache基金会所开发的分布式系统基础架构。 用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存
如果我们一次性入库hbase巨量数据，处理速度慢不说，还特别占用Region资源，一个比较高效便捷的方法就是使用“Bulk Load”方法，即HBase提供的HFileOutputFormat类。 它是利用hbase的数据信息按照特定格式存储在hdfs内这一原理，直接生成这种格式文件，然后上传至合适位置，即完成巨量数据快速入库。配合mapreduce完成，高效便捷，而且不占用region资源。
在《HDFS源码分析DataXceiver之整体流程》一文中我们知道，无论来自客户端还是其他数据节点的请求达到DataNode时，DataNode上的后台线程DataXceiverServer均为每个请求创建一个单独的后台工作线程来处理，这个工作线程就是DataXceiver。并且，在线程DataXceiver处理请求的主方法ru
导入总览导入（Load）功能就是将用户的原始数据导入到 Doris 中。导入成功后，用户即可通过 Mysql 客户端查询数据。Doris 支持多种导入方式。建议先完整阅读本文档，再根据所选择的导入方式，查看各自导入方式的详细文档。基本概念Frontend（FE）：Doris 系统的元数据和调度节点。在导入流程中主要负责导入规划生成和导入任务的调度工作。Backend（BE）：Doris 系统的计算
场景：
有一个订单功能，里面的主表有几千万数据量，加上关联表，数据量达到上亿。我们尝试了优化表结构、业务代码、索引、SQL 语句等办法来提高响应速度，但查询速度还是很慢。一、什么是冷热分离最终，我们决定采用一个性价比高的解决方案，在处理数据时，我们将数据库分成了冷库和热库 2 个库，不常用数据放冷库，常用数据放热库。这就是“冷热分离”。二、什么情况下使用冷热分离？数据走到终态后，只有读没有写的需求
1：什么是HDFS? HDFS适合做：存储大文件。上G、T甚至P。一次写入，多次读取。并且每次作业都要读取大部分的数据。搭建在普通商业机群上就可以了。虽然会经常宕机，但HDFS有良好的容错机制。HDFS不适合做：实时数据获取。如果有这个需求可以用HBase。很多小文件。因为namenode要存储HDFS的metadata（比如目录的树状结构，每个文件的文件名、ACL、长度、owner、文件内容
HDFS概念：HDFS，它是一个文件系统，用于存储文件，通过目录树来定位文件；其次，它是分布式的，由很多服务器联合起来实现其功能，集群中的服务器有各自的角色。 HDFS的设计适合一次写入，多次读出的场景，且不支持文件的修改。适合用来做数据分析，并不适合用来做网盘应用。优缺点优点：1）高容错性
（1）数据自动保存多个副本。它通过增加副本的形式，提高容错性。
（2）某一个副本丢失以后，
因为工作需要开始了解Hadoop，做一个小小的学习笔记，总结下今天看的。Hadoop：一个分布式系统架构，能够对大量数据进行分布式处理的软件框架。可靠（维护多个工作数据副本），高效（并行处理），可伸缩（可以处理PB级数据）的方式进行处理。优点：高可靠性，高扩展性，高效性，高容错性，低成本。核心设计：HDFS（海量数据的存储）和MapReduce（海量数据的计算） 接下来主要介绍下HDFS
异构存储主要解决，不同的数据，存储在不同类型的硬盘中，达到最佳性能的问题。Hadoop的存储类型和存储策略有;1、查看当前有哪些存储策略可以用 [atguigu@hadoop102 hadoop-3.1.3]$ hdfs storagepolicies-listPolicies 2、为指定路径（数据存储目录）设置指定的存储策略 hdfs storagepolicies -setStoragePol
归档存储是一种将不断增长的存储容量与计算容量分离开来的解决方案。密度更高、存储成本更低、计算能力更低的节点正在成为可用的、可以在集群中用作冷存储。根据策略，可以将热数据移到冷数据。增加节点到冷存储中可以增加不依赖于集群计算容量的存储容量。异构存储和归档存储提供的框架对HDFS体系结构进行了概括，使其包含了SSD、内存等其他类型的存储介质。用户可以选择将数据存储在SSD或内存中以获得更好的性能。存储
HDFS的读写流程 & secondary namenode的数据写入流程1）HDFS的数据写入流程
2）HDFS的数据读取流程
3）SNN的数据写入的流程1）HDFS的数据写入流程（1）客户端发送写入请求给 namenode（2）namenode 接收到请求，然后首先判断当前操作的用户是否具有写入的权限，如果没有则拒绝请求，如果有权限，接着判断要写入的数据目录下是否存在这个文件，如果存在
再写 HDFS Federation机制的时候，发现基础不扎实，需要将之前的hadoop再详细记录一下原理（重点只说Hadoop2.0版本）： Hadoop2.0版本，引入了Yarn。核心：HDFS+Yarn+MapreduceYarn是资源调度框架。能够细粒度的管理和调度任务。此外，还能够支持其他的计算框架，比如spark等。存储的基础知识以及原理：元数据信息和
在一个现代化的时候，界面不好看的 Eclipse 和操作易用性相比而言更高的 IntelliJ Idea。而在进行 Hadoop 进行编程的时候，最基本的是需要导入相应的 Jar 包，而更为便宜的则是使用 Maven 来进行包的依赖管理，而本文则结合 Gradle 来处理引入最基本的 Hadoop 包，配置运行环境。新建一个 Gradle 项目在新建时要选择 Gradle 项目，并在连接过程中自动
