背景最近工作中用到阿里云OSS云存储系统;部门的服务器中大量冷数据长期不使用,但是又占据了大量存储空间,硬盘屡屡报错;因此有必要把服务器上面的冷数据备份一下。流程规划具体流程规划如下表数据类型数据特点原始埋点数据（GZIP压缩）当前数仓业务只访问一次。1年前的历史数据很少访问，只有当需要从源头恢复数据时候访问。无法从其他源头恢复。标准化埋点数据（parquet文件，snappy压缩）当前数仓业务只
转载
2024-04-14 14:29:49
84阅读
1、HDFS简介：HDFS（Hadoop Distributed File System ）Hadoop分布式文件系统。是根据google发表的论文GFS（Google File System）Google 文件系统翻版的。是一个主/从（Master/Slave）架构的系统，它主要由NameNode、DataNode、SecondaryNameNode、事务日志、映像文件等构成。Secondary
生产调优HDFS—存储优化注：演示纠删码和异构存储需要一共 5 台虚拟机。尽量拿另外一套集群。提前准备 5 台服务器的集群。纠删码纠删码原理HDFS 默认情况下，一个文件有 3 个副本，这样提高了数据的可靠性，但也带来了 2 倍的冗余开销。Hadoop3.x 引入了纠删码，采用计算的方式，可以节省约 50％左右的存储空间。 1）纠删码操作相关的命令 hdfs ec 2）查看当前支持的纠删码策略 h
转载
2024-09-10 09:54:36
57阅读
一、Nosql1、为什么使用Nosql大数据时代！！普通的数据库无法进行数据分析！Hadoop(2006)。历史发展：1 、单机MySQL时代（90年代）,一个网站的访问量一般不会太大，单个数据库完全够用问题：数据量增加到一定程度，单机数据库就放不下了数据的索引（B+ Tree）,一个机器内存也存放不下访问量变大后（读写混合），一台服务器承受不住。2、MySQL+MemCache（缓存）+垂直拆分
转载
2024-10-21 10:33:23
92阅读
背景HDFS 是 Hadoop 生态的默认存储系统，很多数据分析和管理工具都是基于它的 API 设计和实现的。但 HDFS 是为传统机房设计的，在云上维护 HDFS 一点也不轻松，需要投入不少人力进行监控、调优、扩容、故障恢复等一系列事情，而且还费用高昂，成本可能是对象存储是十倍以上。在存储与计算分离大趋势下，很多人尝试用对象存储来构建数据湖方案，对象存储也提供了用于 Hadoop 生态的 con
对象存储OSS是在云上提供无层次结构的分布式存储产品，为用户提供单价较低且快速可靠的数据存储方案。用户可通过云服务器实例或互联网使用 Web API 接口存储和检索数据。在 OSS 上的数据，用户使用指定域名的 URL 地址，通过 HTTP/HTTPS 协议存储和检索每个独立的数据对象。OSS对象存储为企业用户提供一种安全稳定、低成本、高可用的非结构化数据存储服务；解决用户数据管理问题；具有无上限
转载
2024-06-04 21:34:24
28阅读
FastDFS学习笔记-FastDFS这一篇就够了1. FastDFS简介1.1 分布式文档系统对比 常见分布式文件系统有GFS,HDFS,FastDFS,TFS,GridFS（GridDS）,Ceph等，其实均是类GFS的文件系统。文档系统GFSHDFSFastDFSGridFSTFSCeph开发语言JavaCC++/MongoDBC++C++开源协议ApacheGPL V3GPL V2LGPL
转载
2024-04-19 12:52:07
309阅读
分布式文件系统-FastDFS+阿里OSS 目录分布式文件系统-FastDFS+阿里OSS一、配置FastDFS环境准备工作1.1、环境准备1.2、安装步骤(tracker虚拟机与storage虚拟机都要安装)1.2.1、安装基础库1.2.2、安装libfastcommon函数库1.2.3、安装fastdfs主程序文件1.2.4、拷贝配置文件到/etc/fdfs中二、配置tracker服务2.1、
转载
2024-04-08 08:56:35
106阅读
报错信息：2023-07-31 14:31:02,502 INFO org.apache.hadoop.yarn.client.RMProxy [] - Connecting to ResourceManager at hadoop102/172.18.0.202:8032
2023-07-31 14:31:02,756 INFO org.apac
FastDFS介绍FastDFS是一个开源的轻量级分布式文件系统，它对文件进行管理，功能包括：文件存储、文件同步、文件访问（文件上传、文件下载）等，解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务，如相册网站、视频网站等等。在平时的学习和项目中，博主使用的是阿里云的OSS对象存储服务，毕竟是阿里云旗下的产品，有很全的API供你学习使用。当然，它是付费产品。其实就几顿外卖的钱就能包年
在微服务架构下，文件的上传不能单一的上传到一个服务器上，要不然其他的服务可能取不出来。 所以我们要将文件存储到一个统一的地方-------云存储在阿里云上开通OSS。开通完之后，可以查看阿里云上面的api先创建一个bucket。选择好地域，读写权限 选择公共读（如果是私有的话，读和写都需要账户和密码）。 服务端加密不需要 在这里插 上传方式：上传之前，先找服务器要一个防伪的令牌签名，然后再上传给云
转载
2024-01-08 13:56:29
91阅读
存储oss是指将数据存储到云端对象存储服务，比如阿里云的OSS（Object Storage Service）。在Kubernetes（K8S）中实现存储oss可以让你的应用程序更加灵活和可扩展，方便地管理和访问大量数据。下面我将详细介绍如何在K8S中实现存储oss的过程，帮助你快速入门。
## 实现存储oss的流程
接下来是实现存储oss的具体步骤：
| 步骤 | 描述
原创
2024-05-06 10:24:06
35阅读
实验背景：192.168.122.101 namenode
192.168.122.102 dadanode
192.168.122.103 datanode
192.168.122.104 datanode
关闭几台主机的火墙,selinxnfs的实现如何让新加的结点，同步之前结点的数据?1.首先关闭之前的伪分布式[ha@server1 hadoop]$ sbin/stop-dfs.sh
--HDFS--Hadoop Distributed File SystemHDFS一个分布式，高容错，可线性扩展的文件系统简介：Hadoop分布式文件系统（HDFS）是一种分布式文件系统，设计用于在商用硬件上运行。它与现有的分布式文件系统有许多相似之处。但是，与其他分布式文件系统的差异很大。HDFS具有高度容错能力，旨在部署在低成本硬件上。HDFS提供对应用程序数据的高吞吐量访问，适用于具有大型
转载
2024-03-11 15:13:27
75阅读
看到标题，可能有用户要问：OSS不是用来存图片、视频、及文件的吗，还可以在上面建表、数仓？计算效率和经济性表现怎么样？
看到标题，可能有用户要问：OSS不是用来存图片、视频、及文件的吗，还可以在上面建表、数仓？计算效率和经济性表现怎么样？本文先给出基本结论：OSS是什么?对象存储（Object Storage Service，简称OSS）是基于阿里云飞天
转载
2024-01-19 16:21:50
134阅读
文章目录一、OSS是什么？二、OSS工作原理三、OSS相关术语3.1 存储空间（Bucket）3.2 对象（Object）3.3 对象名称3.4 地域（Region）3.5 访问域名（Endpoint）3.6 访问密钥（AccessKey）3.7 强一致性四、OSS的优势与特性4.1 版本控制4.2 Bucket Policy4.3 跨区域复制4.4 数据加密4.5 数据永久保存五、OSS的缺点
转载
2023-07-28 12:16:18
238阅读
我与HDFS那些事儿(一)HDFS的数据存储闲话不多说，就来聊聊这些年与HDFS的那些事儿，我们首先来聊聊HDFS的数据存储。HDFS正是先有了数据的存储，才有后续的写入和管理等操作。数据存储包括两块： 1.内存存储；内存存储是一种十分特殊的存储方式，将会对集群数据的读写性能带来不小的提升。 2.异构存储；异构存贮能够帮助我们更加合理的把数据存到该存的地方。HDFS内存存储HDFS的内存存储与HD
转载
2023-10-22 08:00:44
43阅读
OSS对象存储一、产品概述 阿里云对象存储服务（Object Storage Service，简称 OSS），是阿里云提供的海量、安全、低成本、高可靠的云存储服务。它具有与平台无关的RESTful API接口，能够提供99.99999999%的服务持久性。您可以在任何应用、任何时间、任何地点存储和访问任意类型的数据。OSS适合各种网站、开发企业及开发者使用。
原创
2017-08-22 17:40:13
5161阅读
**实现OSS存储服务的流程：**
| 步骤 | 操作 |
| ---- | ---- |
| 1 | 注册OSS账号 |
| 2 | 创建Bucket（存储空间） |
| 3 | 生成AccessKey和SecretKey |
| 4 | 集成SDK到项目中 |
| 5 | 上传、下载文件等操作 |
**具体操作步骤及代码示例：**
1. 注册OSS账号：
- 访问阿里云官网创建账号
原创
2024-05-06 10:25:03
63阅读
# 实现OSS文件存储的步骤
| 步骤 | 内容 |
|-----|------|
| 1 | 创建OSS bucket |
| 2 | 安装OSS SDK |
| 3 | 编写代码上传、下载文件 |
## 步骤一：创建OSS bucket
首先，我们需要在阿里云OSS控制台上创建一个存储空间(bucket)。登录阿里云控制台，进入OSS控制台，点击“创建Bucket”按钮，填写相关信息并创建一
原创
2024-05-21 10:24:05
77阅读
