FastDFS介绍FastDFS是一个开源的轻量级分布式文件系统，它对文件进行管理，功能包括：文件存储、文件同步、文件访问（文件上传、文件下载）等，解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务，如相册网站、视频网站等等。在平时的学习和项目中，博主使用的是阿里云的OSS对象存储服务，毕竟是阿里云旗下的产品，有很全的API供你学习使用。当然，它是付费产品。其实就几顿外卖的钱就能包年
转载
2024-10-30 11:55:04
92阅读
FastDFS学习笔记-FastDFS这一篇就够了1. FastDFS简介1.1 分布式文档系统对比 常见分布式文件系统有GFS,HDFS,FastDFS,TFS,GridFS（GridDS）,Ceph等，其实均是类GFS的文件系统。文档系统GFSHDFSFastDFSGridFSTFSCeph开发语言JavaCC++/MongoDBC++C++开源协议ApacheGPL V3GPL V2LGPL
转载
2024-04-19 12:52:07
309阅读
分布式文件系统-FastDFS+阿里OSS 目录分布式文件系统-FastDFS+阿里OSS一、配置FastDFS环境准备工作1.1、环境准备1.2、安装步骤(tracker虚拟机与storage虚拟机都要安装)1.2.1、安装基础库1.2.2、安装libfastcommon函数库1.2.3、安装fastdfs主程序文件1.2.4、拷贝配置文件到/etc/fdfs中二、配置tracker服务2.1、
转载
2024-04-08 08:56:35
106阅读
实验背景：192.168.122.101 namenode
192.168.122.102 dadanode
192.168.122.103 datanode
192.168.122.104 datanode
关闭几台主机的火墙,selinxnfs的实现如何让新加的结点，同步之前结点的数据?1.首先关闭之前的伪分布式[ha@server1 hadoop]$ sbin/stop-dfs.sh
那么到这里，分布式文件存储部分讲完啦~这一块主要是针对传统的文件存储方式做的优化提升。那么咱们针对本阶段的学习做个简短的总结。来看一下下方思维脑图来梳理内容∶复习本阶段主要针对fastdfs与oss的讲解，首先我们讲了什么是分布式文件系统与其概念，在传统的文件上传中，我们往往是上传到同服务器，但是这样会面临一个问题，就是当文件越来越多的时候此时扩容是个问题，而且和业务服务耦合在一个计算机节点，所以
1、HDFS简介：HDFS（Hadoop Distributed File System ）Hadoop分布式文件系统。是根据google发表的论文GFS（Google File System）Google 文件系统翻版的。是一个主/从（Master/Slave）架构的系统，它主要由NameNode、DataNode、SecondaryNameNode、事务日志、映像文件等构成。Secondary
背景最近工作中用到阿里云OSS云存储系统;部门的服务器中大量冷数据长期不使用,但是又占据了大量存储空间,硬盘屡屡报错;因此有必要把服务器上面的冷数据备份一下。流程规划具体流程规划如下表数据类型数据特点原始埋点数据（GZIP压缩）当前数仓业务只访问一次。1年前的历史数据很少访问，只有当需要从源头恢复数据时候访问。无法从其他源头恢复。标准化埋点数据（parquet文件，snappy压缩）当前数仓业务只
转载
2024-04-14 14:29:49
84阅读
1.Hadoop分布式文件系统(HDFS)是指被设计成适合运行在通用硬件(commodity hardware) 上的分布式文件系统（Distributed File System）。它和现有的分布式文件系统有很多共同点 。但同时，它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统， 适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。
转载
2024-03-28 09:30:40
201阅读
Redis是什么Redis（Remote Dictionary Service）互联网技术领域使用最广泛的键值对存储中间件Redis（基于docker）的安装docker pull redis
docker run --name redisdemo -d -p6379:6379 redis
docker exec -it redisdemo redis-cliRedis的五种基础数据结构Red
转载
2024-07-11 16:53:44
91阅读
HBase和Hive的异同之处?共同点：HBase与Hive都是架构在Hadoop之上，底层存储都是使用HDFS区别： 1). Hive是建立在Hadoop之上为了减少MapReduce jobs编写工作的批处理系统。HBase是为了支持弥补Hadoop对实时操作的缺陷的项目。高延迟、结构化和面向分析的，hbase是低延迟、非结构化和面向编程逻辑表，它本身不存储和计算数据，它完全依赖于HDFS
转载
2023-06-29 16:02:58
387阅读
Hbase:Hbase是Hadoop的数据库，是bigtable的实现，基于HDFSHDFS：文件系统，是gfs的实现Hive,Hbase,HDFS等之间的关系Hive：Hive不支持更改数据的操作，Hive基于数据仓库，提供静态数据的动态查询。其使用类SQL语言，底层经过编译转为MapReduce程序，在Hadoop上运行，数据存储在HDFS上。HDFS:HDFS是GFS的一种实现，他的完整名字
转载
2023-05-29 15:59:54
723阅读
【FastDFS】FastDFS简介以及基本使用1. 分布式文件系统简介2. FastDFS简介3. FastDFS架构4. 上传与下载流程5. Java客户端 1. 分布式文件系统简介分布式文件系统（Distributed File System）是指文件系统管理的物理存储资源不一定直接连接在本地节点上，而是通过计算机网络与节点相连。通俗来讲：传统文件系统管理的文件就存储在本机。分布式文件系统
转载
2024-04-30 16:46:46
55阅读
一、Nosql1、为什么使用Nosql大数据时代！！普通的数据库无法进行数据分析！Hadoop(2006)。历史发展：1 、单机MySQL时代（90年代）,一个网站的访问量一般不会太大，单个数据库完全够用问题：数据量增加到一定程度，单机数据库就放不下了数据的索引（B+ Tree）,一个机器内存也存放不下访问量变大后（读写混合），一台服务器承受不住。2、MySQL+MemCache（缓存）+垂直拆分
转载
2024-10-21 10:33:23
92阅读
背景HDFS 是 Hadoop 生态的默认存储系统，很多数据分析和管理工具都是基于它的 API 设计和实现的。但 HDFS 是为传统机房设计的，在云上维护 HDFS 一点也不轻松，需要投入不少人力进行监控、调优、扩容、故障恢复等一系列事情，而且还费用高昂，成本可能是对象存储是十倍以上。在存储与计算分离大趋势下，很多人尝试用对象存储来构建数据湖方案，对象存储也提供了用于 Hadoop 生态的 con
对于刚接触大数据的用户来说，要想区分Hive与HBase是有一定难度的。本文将尝试从其各自的定义、特点、限制、应用场景等角度来进行分析，以作抛砖引玉之用。 Hive是什么？Apache Hive是一个构建于Hadoop(分布式系统基础架构)顶层的数据仓库，注意这里不是数据库。Hive可以看作是用户编程接口，它本身不存储和计算数据；它依赖于HDFS(Hadoop分布式文件系统)和MapRe
转载
2023-07-14 11:36:17
317阅读
2、分布式文件系统：HDFS，GFS等：适合存储大文件。（HDFS对大文件做了优化，关注吞吐量，适合做批处理）MogileFS，FastDFS，OpenStack的Swift等。适合存储小文件淘宝的TFS。 注解1 -- 下面是转载来的HDFS和Swift的对比： 最近在Quora上有人提到一个问题，有关Hadoop分布式文件系统和OpenStack对象存储的不同。问题原文如下
转载
2024-04-08 22:46:56
46阅读
Ceph与HDFS是两种常见的分布式存储系统，它们都具有高可扩展性和容错性的特点，然而两者在设计理念和实现细节上有很大的区别。
首先，Ceph是一个分布式存储系统，它采用了对象存储的方式来存储数据。Ceph集群由多个存储节点组成，每个节点上都安装有Ceph的存储服务，通过CRUSH算法来实现数据的分布和冗余备份。而HDFS是Apache Hadoop生态系统中的一部分，它是一个基于文件系统的分布
原创
2024-03-05 11:56:27
211阅读
# HBase与HDFS的区别
## 引言
随着大数据时代的到来，存储和处理海量数据成为了一个重要的问题。HBase和HDFS是两个在大数据领域广泛应用的存储系统，本文将介绍它们的区别和特点，并通过代码示例进行说明。
## HDFS 简介
HDFS（Hadoop Distributed File System）是Apache Hadoop生态系统的核心组成部分之一。它是一个分布式文件系统，
原创
2023-08-27 05:43:48
215阅读
报错信息：2023-07-31 14:31:02,502 INFO org.apache.hadoop.yarn.client.RMProxy [] - Connecting to ResourceManager at hadoop102/172.18.0.202:8032
2023-07-31 14:31:02,756 INFO org.apac
