今天总结了一些HDFS的分享一下。。 HDFS是hadoop分布式文件系统是一中文件系统，设计用于在商用硬件上运行，它与现有的分布式文件系统有许多相似之处，但是与这些分布式文件系统有所差别，Hdfs具有高度的容错能力，致力与部署在低成本的硬件上。HDFS提供对应用数据的高吞吐量访问，适用于具有极大规模数据集的应用程序。HDFS为了实现对文件系统数据的
转载
2024-04-02 00:00:13
32阅读
一、分布式文件系统分布式文件系统 (Distributed File System) 是一个软件/软件服务器，这个软件可以用来管理文件，但这个软件所管理的文件通常不是在一个服务器节点上，而是在多个服务器节点上，这些服务器节点通过网络相连构成一个庞大的文件存储服务器集群，这些服务器都用于存储文件资源，通过分布式文件系统来管理这些服务器上的文件。常见的分布式文件系统有：FastDFS、GFS、HDFS
转载
2024-09-29 17:18:31
92阅读
目录一、分布式文件系统二、FastDFS 简介三、FastDFS 整体架构 一、分布式文件系统分布式文件系统 (Distributed File System) 是一个软件/软件服务器，这个软件可以用来管理文件。但这个软件所管理的文件通常不是在一个服务器节点上，而是在多个服务器节点上，这些服务器节点通过网络相连构成一个庞大的文件存储服务器集群，这些服务器都用于存储文件资源，通过分布式文件系统来管
转载
2024-05-13 10:30:06
84阅读
目录HDFS、fastDFS、Mongo gridFS、MinIoHDFS概要适用场景不适用场景安装教程fastDFS概要安装教程Mongo GridFs概要优点使用场景MinIO概要优势适用场景 HDFS、fastDFS、Mongo gridFS、MinIoHDFS概要HDFS 全称 Hadoop Distributed File System。也就是hadoop分布式文件存储系统, 基本架构
转载
2024-02-12 08:33:26
109阅读
一、概述 普通存储方案：Rsync、DAS(IDE/SATA/SAS/SCSI等块)、NAS(NFS、CIFS、SAMBA等文件系统)、SAN(FibreChannel, iSCSI, FoE存储网络块)，Openfiler、FreeNas(ZFS快照复制)由于生产环境中往往由于对存储数据量很大，而SAN存储价格又比较昂贵，因此大多会选择分布式 存储来解决一下问题： 海量数据存储问题数据高可用
转载
2024-05-25 13:56:46
140阅读
对比HDFS和Ceph
HDFS和Ceph都是大数据存储方面的解决方案，它们都有各自的优势和劣势。本文将对这两种解决方案进行对比，以帮助读者更好地了解它们之间的差异。
首先，让我们来看看HDFS。HDFS是Apache Hadoop的核心组件之一，是一种分布式文件系统，专门设计用于处理海量数据。HDFS的主要优势在于其高性能和可靠性。它能够自动将数据分布到集群中的多个节点上，以提高数据的读写效
原创
2024-02-27 11:54:31
131阅读
HDFS与Ceph是两种不同的分布式存储系统，它们各有优势和劣势。本文将对它们进行对比分析，以帮助读者更好地理解它们之间的差异和适用情况。
HDFS是一种基于Google的GFS设计理念而开发的分布式文件系统，是Apache Hadoop生态系统的重要组成部分。它主要用于大数据处理和分析。HDFS的优势之一是高可靠性，它通过数据复制和检验和来提高数据的可靠性。此外，HDFS具有高扩展性，可以方便
原创
2024-03-13 10:17:04
99阅读
Ceph和HDFS是两种不同的分布式存储系统，它们分别被设计用来应对不同类型和规模的数据存储需求。在选择适合自己的分布式存储系统时，了解它们的特点和优劣势是非常重要的。本文将就Ceph和HDFS进行对比，以帮助读者更好地了解它们。
首先，让我们来介绍一下Ceph。Ceph是一种开源的分布式存储系统，它采用分布式对象存储和块存储技术，可以自动地对储存节点进行数据均衡和容错处理。Ceph的设计目标是
原创
2024-02-29 09:55:25
111阅读
再写 HDFS Federation机制的时候，发现基础不扎实，需要将之前的hadoop再详细记录一下原理（重点只说Hadoop2.0版本）： Hadoop2.0版本，引入了Yarn。核心：HDFS+Yarn+MapreduceYarn是资源调度框架。能够细粒度的管理和调度任务。此外，还能够支持其他的计算框架，比如spark等。存储的基础知识以及原理：元数据信息和
转载
2024-09-19 13:14:19
49阅读
分布式存储系统和非分布式存储系统(本地存储)在架构和功能上有以下主要区别:数据冗余 分布式存储系统将数据同步的存储在多台服务器上,保证有数据副本存在,即使部分服务器故障也不会丢失数据,数据高可用。 本地存储数据仅存在一台服务器上,一旦服务器故障可能导致数据丢失。存储容量 分布式存储系统的存储容量可以通过不断添加服务器实现弹性扩展,理论上没有上限。 本地存储的容量受单 individual 服务器存
文章目录中间控制节点架构-HDFSNameNode节点分析DataNode节点分析SecondNameNode节点分析Client分析完全无中心架构-CephCeph Monitor分析Ceph OSD分析Ceph Manager分析Ceph Clients分析小结HDFS优点缺点Ceph优点缺点参考 中间控制节点架构-HDFS以HDFS（ Hadoop Distribution File Sy
转载
2024-06-26 11:54:42
42阅读
hdfs有很多命令，比如说hdfs dfs -ls，hdfs dfs -put， hdfs dfs -mkdir，hdfs dfs -cat，hdfs dfs -rm等等，一般操作hdfs都是通过hdfs的命令行进行操作。其实这些命令行的底层都是通过java代码来支撑的，再比如启动和关闭hdfs都是通过脚本来启动，这些脚本底层肯定都是通过代码来支撑的。 举例：有时候需要把本地文件上传到hdfs，直
转载
2024-03-19 16:35:52
16阅读
日志接入es与hdfs流程Filebeat轻量级日志采集工具，代替logstash部署在采集机，可减轻采集机机器压力。Filebeat解压即可使用。Filebeat注册为系统服务：PowerShell.exe -ExecutionPolicy UnRestricted -File install-service-filebeat.ps1修改配置文件filebeat.ymlfilebeat.pros
转载
2024-04-25 13:06:48
73阅读
目录1.ElasticSearch VS MongoDB2.MongoDB和ElasticSearch定位的区别3.两者读写数据的异同4.部署和资源占用5.可用性和容错5.1两者分布式方案的一些不同6.文档型数据库的特点和问题6.1 无schema6.2 鸡肋的Collection 和 Type6.3 弱事务6.4 无join支持6.5 Bully的选主算法的缺陷7.
转载
2023-07-20 15:07:32
444阅读
2018 年 11 月 30 日，TiDB 发布 2.1 GA 版。相比 2.0 版本，该版本对系统稳定性、性能、兼容性、易用性做了大量改进。TiDBSQL 优化器优化 Index Join 选择范围，提升执行性能优化 Index Join 外表选择，使用估算的行数较少的表作为外表扩大 Join Hint TIDB_SMJ 的作用范围，在没有合适索引可用的情况下也可使用 Merge Join加强
转载
2024-05-07 11:00:34
186阅读
# 如何实现 HDFS, HBase, ES
## 整体流程
下面是实现HDFS、HBase和ES的整体流程，包括相应的步骤和所需的代码。
| 步骤 | 描述 | 代码 |
|------|-----|------|
| 1 | 安装Hadoop集群 | `sudo apt-get install hadoop` |
| 2 | 配置HDFS | `hadoop fs -mkdi
原创
2023-10-01 10:14:11
42阅读
Ceph 和HDFS是两种常用的分布式存储系统，它们在大数据领域有着广泛的应用。本文将对这两种系统进行比较，探讨它们的优缺点以及适用场景。
首先，让我们先来了解一下Ceph和HDFS分别是什么。Ceph是一个开源的分布式存储系统，它具有高可靠性和高可扩展性的特点，可以提供对象存储、块存储和文件系统服务。而HDFS（Hadoop Distributed File System）是Apache Ha
原创
2024-03-11 11:52:29
193阅读
一、关于 Apache Doris 和 DorisDB、StarRocks 的关系Doris 最早是解决百度凤巢统计报表的专用系统，随着百度业务的飞速发展对系统进行了多次迭代，逐渐承担起百度内部业务的统计报表和多维分析需求。2013 年，我们把 Doris 进行了 MPP 框架的升级，并将新系统命名为 Palo ，2017 年我们以百度 Palo 的名字在 GitHub 上进行了开源，2018 年
Redis学习方式：上手就用基本的理论先学习,然后将知识融汇贯通nosql讲解为什么要用Nosql现在都是大数据时代大数据一般的数据库无法进行分析处理了至少要会Springboot+SpringCloud压力一定会越来越大，适者生存1.单机MySQL的年代90年代，一个基本的网站访问量一般不会太大，单个数据库完全足够，那个时候，更多的去使用静态网页，HTML，服务器根本没有太大的压力思考一下，这种
转载
2024-10-13 21:45:57
85阅读
测试环境测试使用的FastDFS服务器，HDFS服务器均在vmware虚拟机中搭建，HDFS的服务器直接由FastDFS服务器克隆而来，所以除了一个安装了hadoop，一个安装了FastDFS，其他环境完全一致。HDFS配置了集群环境，一主三从，但是只打开一台从节点服务器。vmware的配置如下图：测试主机（上述vmware、测试代码的运行环境）CPU、内存如下图：编码层面，对HDFS和Fa
转载
2024-02-29 16:50:18
56阅读
