背景最近工作中用到阿里云OSS云存储系统;部门的服务器中大量冷数据长期不使用,但是又占据了大量存储空间,硬盘屡屡报错;因此有必要把服务器上面的冷数据备份一下。流程规划具体流程规划如下表数据类型数据特点原始埋点数据（GZIP压缩）当前数仓业务只访问一次。1年前的历史数据很少访问，只有当需要从源头恢复数据时候访问。无法从其他源头恢复。标准化埋点数据（parquet文件，snappy压缩）当前数仓业务只
转载
2024-04-14 14:29:49
84阅读
一、Nosql1、为什么使用Nosql大数据时代！！普通的数据库无法进行数据分析！Hadoop(2006)。历史发展：1 、单机MySQL时代（90年代）,一个网站的访问量一般不会太大，单个数据库完全够用问题：数据量增加到一定程度，单机数据库就放不下了数据的索引（B+ Tree）,一个机器内存也存放不下访问量变大后（读写混合），一台服务器承受不住。2、MySQL+MemCache（缓存）+垂直拆分
转载
2024-10-21 10:33:23
92阅读
背景HDFS 是 Hadoop 生态的默认存储系统，很多数据分析和管理工具都是基于它的 API 设计和实现的。但 HDFS 是为传统机房设计的，在云上维护 HDFS 一点也不轻松，需要投入不少人力进行监控、调优、扩容、故障恢复等一系列事情，而且还费用高昂，成本可能是对象存储是十倍以上。在存储与计算分离大趋势下，很多人尝试用对象存储来构建数据湖方案，对象存储也提供了用于 Hadoop 生态的 con
分布式文件系统-FastDFS+阿里OSS 目录分布式文件系统-FastDFS+阿里OSS一、配置FastDFS环境准备工作1.1、环境准备1.2、安装步骤(tracker虚拟机与storage虚拟机都要安装)1.2.1、安装基础库1.2.2、安装libfastcommon函数库1.2.3、安装fastdfs主程序文件1.2.4、拷贝配置文件到/etc/fdfs中二、配置tracker服务2.1、
转载
2024-04-08 08:56:35
106阅读
--HDFS--Hadoop Distributed File SystemHDFS一个分布式，高容错，可线性扩展的文件系统简介：Hadoop分布式文件系统（HDFS）是一种分布式文件系统，设计用于在商用硬件上运行。它与现有的分布式文件系统有许多相似之处。但是，与其他分布式文件系统的差异很大。HDFS具有高度容错能力，旨在部署在低成本硬件上。HDFS提供对应用程序数据的高吞吐量访问，适用于具有大型
转载
2024-03-11 15:13:27
70阅读
1、HDFS简介：HDFS（Hadoop Distributed File System ）Hadoop分布式文件系统。是根据google发表的论文GFS（Google File System）Google 文件系统翻版的。是一个主/从（Master/Slave）架构的系统，它主要由NameNode、DataNode、SecondaryNameNode、事务日志、映像文件等构成。Secondary
FastDFS学习笔记-FastDFS这一篇就够了1. FastDFS简介1.1 分布式文档系统对比 常见分布式文件系统有GFS,HDFS,FastDFS,TFS,GridFS（GridDS）,Ceph等，其实均是类GFS的文件系统。文档系统GFSHDFSFastDFSGridFSTFSCeph开发语言JavaCC++/MongoDBC++C++开源协议ApacheGPL V3GPL V2LGPL
转载
2024-04-19 12:52:07
309阅读
FastDFS介绍FastDFS是一个开源的轻量级分布式文件系统，它对文件进行管理，功能包括：文件存储、文件同步、文件访问（文件上传、文件下载）等，解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务，如相册网站、视频网站等等。在平时的学习和项目中，博主使用的是阿里云的OSS对象存储服务，毕竟是阿里云旗下的产品，有很全的API供你学习使用。当然，它是付费产品。其实就几顿外卖的钱就能包年
报错信息：2023-07-31 14:31:02,502 INFO org.apache.hadoop.yarn.client.RMProxy [] - Connecting to ResourceManager at hadoop102/172.18.0.202:8032
2023-07-31 14:31:02,756 INFO org.apac
实验背景：192.168.122.101 namenode
192.168.122.102 dadanode
192.168.122.103 datanode
192.168.122.104 datanode
关闭几台主机的火墙,selinxnfs的实现如何让新加的结点，同步之前结点的数据?1.首先关闭之前的伪分布式[ha@server1 hadoop]$ sbin/stop-dfs.sh
1.Hadoop分布式文件系统(HDFS)是指被设计成适合运行在通用硬件(commodity hardware) 上的分布式文件系统（Distributed File System）。它和现有的分布式文件系统有很多共同点 。但同时，它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统， 适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。
转载
2024-03-28 09:30:40
201阅读
那么到这里，分布式文件存储部分讲完啦~这一块主要是针对传统的文件存储方式做的优化提升。那么咱们针对本阶段的学习做个简短的总结。来看一下下方思维脑图来梳理内容∶复习本阶段主要针对fastdfs与oss的讲解，首先我们讲了什么是分布式文件系统与其概念，在传统的文件上传中，我们往往是上传到同服务器，但是这样会面临一个问题，就是当文件越来越多的时候此时扩容是个问题，而且和业务服务耦合在一个计算机节点，所以
使用阿里云对象存储OSSOSS服务就是对象存储服务，就是使用远程存储文件的服务，为啥用OSS服务呢？ 1.方便 2.进行文件存取比存储在本地要安全，本地可能会发生丢失的问题1.重新进行web应用部署时，可能会发生丢失的问题
2.集群环境下文件难以同步
3.当上传多文件时，影响速度对应大数据量文件就是使用FastDFS(我暂时没使用过)好处：服务器可以自己维护、自己定制。
缺点：需要投入的人力、物
转载
2024-04-18 17:55:37
588阅读
生产调优HDFS—存储优化注：演示纠删码和异构存储需要一共 5 台虚拟机。尽量拿另外一套集群。提前准备 5 台服务器的集群。纠删码纠删码原理HDFS 默认情况下，一个文件有 3 个副本，这样提高了数据的可靠性，但也带来了 2 倍的冗余开销。Hadoop3.x 引入了纠删码，采用计算的方式，可以节省约 50％左右的存储空间。 1）纠删码操作相关的命令 hdfs ec 2）查看当前支持的纠删码策略 h
转载
2024-09-10 09:54:36
57阅读
1功能简介：优点：独立服务：减少原有应用服务的请求连接压力，分解出文件上传与文件下载的服务器压力非结构化存储：基于对象存储，一站式地完成日志处理、图片处理、文档、附件、音视频处理开放性访问：通过RESTful API 可以在互联网任何位置存储和访问，容量和处理能力弹性扩展异步消息日志持久化：保证高并发业务的可用性与可靠性存储技术的优势：文件服务器致力于小型文件的存储，比如业务中图片、普通文档等。由
转载
2024-07-26 07:59:59
379阅读
# 如何实现“redis和oss”的教程
## 一、整体流程
以下是实现“redis和oss”功能的流程表格：
```mermaid
gantt
title 实现“redis和oss”功能的流程
section 设置redis
获取redis的连接 => after 获取redis的配置
设置redis配置 => after 获取redis的连接
se
原创
2024-05-30 05:47:34
44阅读
前情提要 :一套已经正式上线的程序(在生产环境上锤炼了一个多月,期间,程序稳定性,数据准确性性能良好). 因为业务所需,需要修改配置,额外部署一套到新的集群 修改完配置,确认无误之后,部署执行. 然后惨案就开始了~本篇博客要点如下:一. 报错及问题解决报错信息问题解决二. 问题分析和Mongo分片的深度验证问题分析Mongo分片的深度验证创建包含分片键的Mongo集合分片键下各种场景的验证三.总结
Ceph与OSS：开源存储技术的巅峰对决
云计算和大数据时代的到来，给存储技术带来了严峻的挑战。企业需要解决庞大的数据存储和管理问题，同时还要保障数据的高可靠性和可扩展性。为了满足这些要求，开源社区诞生了许多优秀的存储技术，其中Ceph和OSS无疑是最受关注的两个。
Ceph是一个分布式存储系统，旨在提供高性能、高可靠性和高扩展性的存储解决方案。它的核心设计思想是将数据切分并分布在不同的设备上
原创
2024-01-30 20:30:06
306阅读
Redis几个认识误区前几天微博发生了一起大的系统故障，很多技术的朋友都比较关心，其中的原因不会超出James Hamilton在On Designing and Deploying Internet-Scale Service(1)概括的那几个范围，James第一条经验“Design for failure”是所有互联网架构成功的一个关键。互联网系统的工程理论其实非常简单，James paper
如何选用NAS、OSS和EBS更新时间：2019-10-28 11:02:10本页目录文件存储NAS和对象存储OSS有什么不同？文件存储NAS和块存储EBS有什么不同？本文介绍阿里云文件存储NAS与阿里云对象存储OSS、阿里云块存储EBS的区别，帮助您更好地选用阿里云文件存储NAS。文件存储NAS提供简单、可伸缩弹性的共享文件存储，配合云服务器ECS弹性计算服务构建业务系统。 当您选择使用文件存储
转载
2024-09-26 10:49:50
64阅读
