生产调优HDFS—存储优化注：演示纠删码和异构存储需要一共 5 台虚拟机。尽量拿另外一套集群。提前准备 5 台服务器的集群。纠删码纠删码原理HDFS 默认情况下，一个文件有 3 个副本，这样提高了数据的可靠性，但也带来了 2 倍的冗余开销。Hadoop3.x 引入了纠删码，采用计算的方式，可以节省约 50％左右的存储空间。 1）纠删码操作相关的命令 hdfs ec 2）查看当前支持的纠删码策略 h
转载
2024-09-10 09:54:36
57阅读
背景最近工作中用到阿里云OSS云存储系统;部门的服务器中大量冷数据长期不使用,但是又占据了大量存储空间,硬盘屡屡报错;因此有必要把服务器上面的冷数据备份一下。流程规划具体流程规划如下表数据类型数据特点原始埋点数据（GZIP压缩）当前数仓业务只访问一次。1年前的历史数据很少访问，只有当需要从源头恢复数据时候访问。无法从其他源头恢复。标准化埋点数据（parquet文件，snappy压缩）当前数仓业务只
转载
2024-04-14 14:29:49
84阅读
1、HDFS简介：HDFS（Hadoop Distributed File System ）Hadoop分布式文件系统。是根据google发表的论文GFS（Google File System）Google 文件系统翻版的。是一个主/从（Master/Slave）架构的系统，它主要由NameNode、DataNode、SecondaryNameNode、事务日志、映像文件等构成。Secondary
一、Nosql1、为什么使用Nosql大数据时代！！普通的数据库无法进行数据分析！Hadoop(2006)。历史发展：1 、单机MySQL时代（90年代）,一个网站的访问量一般不会太大，单个数据库完全够用问题：数据量增加到一定程度，单机数据库就放不下了数据的索引（B+ Tree）,一个机器内存也存放不下访问量变大后（读写混合），一台服务器承受不住。2、MySQL+MemCache（缓存）+垂直拆分
转载
2024-10-21 10:33:23
92阅读
# 阿里云oss存储配置
阿里云的对象存储服务（Object Storage Service，简称OSS）是阿里云提供的海量、安全、低成本、高可靠的云存储服务。在Kubernetes项目中，我们可以通过配置阿里云OSS存储来实现在集群中使用OSS存储数据。
## 阿里云OSS存储配置流程
下面是配置阿里云OSS存储的基本流程：
| 步骤 | 描述 |
| ------ | --------
原创
2024-05-21 11:21:19
200阅读
--HDFS--Hadoop Distributed File SystemHDFS一个分布式，高容错，可线性扩展的文件系统简介：Hadoop分布式文件系统（HDFS）是一种分布式文件系统，设计用于在商用硬件上运行。它与现有的分布式文件系统有许多相似之处。但是，与其他分布式文件系统的差异很大。HDFS具有高度容错能力，旨在部署在低成本硬件上。HDFS提供对应用程序数据的高吞吐量访问，适用于具有大型
转载
2024-03-11 15:13:27
75阅读
背景HDFS 是 Hadoop 生态的默认存储系统，很多数据分析和管理工具都是基于它的 API 设计和实现的。但 HDFS 是为传统机房设计的，在云上维护 HDFS 一点也不轻松，需要投入不少人力进行监控、调优、扩容、故障恢复等一系列事情，而且还费用高昂，成本可能是对象存储是十倍以上。在存储与计算分离大趋势下，很多人尝试用对象存储来构建数据湖方案，对象存储也提供了用于 Hadoop 生态的 con
必须掌握的分布式文件存储系统—HDFSmp.weixin.qq.com
HDFS（Hadoop Distributed File System）分布式文件存储系统，主要为各类分布式计算框架如Spark、MapReduce等提供海量数据存储服务，同时HBase、Hive底层存储也依赖于HDFS。HDFS提供一个统一的抽象目录树，客户端可通过路径来访问文件，如hdfs:
转载
2024-04-20 17:17:54
743阅读
对象存储OSS是在云上提供无层次结构的分布式存储产品，为用户提供单价较低且快速可靠的数据存储方案。用户可通过云服务器实例或互联网使用 Web API 接口存储和检索数据。在 OSS 上的数据，用户使用指定域名的 URL 地址，通过 HTTP/HTTPS 协议存储和检索每个独立的数据对象。OSS对象存储为企业用户提供一种安全稳定、低成本、高可用的非结构化数据存储服务；解决用户数据管理问题；具有无上限
转载
2024-06-04 21:34:24
28阅读
# HBase配置HDFS存储
## 引言
HBase是一个分布式的、可扩展的、面向列的NoSQL数据库，它建立在Hadoop分布式文件系统（HDFS）之上。HDFS是一个可靠的、高容错性的分布式文件系统，被广泛用于大数据处理。本文将介绍如何配置HBase来使用HDFS作为其存储介质，并提供相应的代码示例。
## HDFS概述
Hadoop分布式文件系统（HDFS）是一个高容错性、高可扩展性的
原创
2023-08-30 15:02:25
220阅读
# Hive配置HDFS存储
在大数据领域，Hive是一个常用的数据仓库工具，它可以方便地对大规模数据进行管理和分析。而HDFS（Hadoop Distributed File System）则是Hadoop中用于存储数据的分布式文件系统。在Hive中配置HDFS存储可以帮助我们更好地利用Hadoop集群的存储资源，提高数据处理效率。
## 配置Hive存储到HDFS的步骤
### 步骤一：
原创
2024-04-30 05:27:46
165阅读
统计系统技术方案-clickhouse前言一、为什么选择clickhouse存数据？列式存储mysql为行式存储，优点：clickhouse为列式存储，优点：DBMS功能表引擎多样化高吞吐写入能力：数据分区与线程及并行：数据格式高程度自定义二、安装运行步骤1.安装2. 启动服务相关文件路径启动服务连接clickhouse操作clickhouse附带总结 前言随着系统的增多与功能的增多，在运营与功
商城品牌管理新建品牌管理菜单逆向生成的vue代码复制到vscode工作空间
brand.vue 页面代码
brand-add-or-update.vue 添加修改组件代码
启动项目：对显示状态进行优化使用Element-ui中tab表格自定义列模板
通过 Scoped slot 可以获取到 row, column, $index 和 store（table 内部的状态管理）的数据<templ
转载
2023-12-25 15:55:23
117阅读
1.Hadoop分布式文件系统(HDFS)是指被设计成适合运行在通用硬件(commodity hardware) 上的分布式文件系统（Distributed File System）。它和现有的分布式文件系统有很多共同点 。但同时，它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统， 适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。
转载
2024-03-28 09:30:40
201阅读
安装zookeeper
下载zookeeper
编辑zookeeper配置文件
创建myid文件
启动zookeeper
配置HDFS HA
配置手动HA
配置自动HA
启动HDFS HA
namenode负责管理整个hdfs集群,如果namenode故障则集群将不可用.因此有必须实现namenode高可用. hdfs的
转载
2024-09-19 13:02:30
82阅读
FastDFS学习笔记-FastDFS这一篇就够了1. FastDFS简介1.1 分布式文档系统对比 常见分布式文件系统有GFS,HDFS,FastDFS,TFS,GridFS（GridDS）,Ceph等，其实均是类GFS的文件系统。文档系统GFSHDFSFastDFSGridFSTFSCeph开发语言JavaCC++/MongoDBC++C++开源协议ApacheGPL V3GPL V2LGPL
转载
2024-04-19 12:52:07
309阅读
== Based on Kilo ==大致看了启动过程，很多细节还不清楚。又贴了很多代码，仅作为一个记录。启动命令devstack下的启动命令：/usr/local/bin/cinder-backup --config-file /etc/cinder/cinder.conf内容为：#!/usr/bin/python
# PBR Generated from u'console_scripts'
转载
2023-07-10 15:17:00
41阅读
FastDFS介绍FastDFS是一个开源的轻量级分布式文件系统，它对文件进行管理，功能包括：文件存储、文件同步、文件访问（文件上传、文件下载）等，解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务，如相册网站、视频网站等等。在平时的学习和项目中，博主使用的是阿里云的OSS对象存储服务，毕竟是阿里云旗下的产品，有很全的API供你学习使用。当然，它是付费产品。其实就几顿外卖的钱就能包年
转载
2024-10-30 11:55:04
92阅读
报错信息：2023-07-31 14:31:02,502 INFO org.apache.hadoop.yarn.client.RMProxy [] - Connecting to ResourceManager at hadoop102/172.18.0.202:8032
2023-07-31 14:31:02,756 INFO org.apac
Hive安装与配置安装前准备三台虚拟机master、slave1、slave2配置hadoop用户，之间免密登录，时钟同步，hadoop健康可用Hadoop与Hive的整合因为Hive需要把数据存储在HDFS上，并且通过MapReduce作为引擎处理数据； 因此需要在Hadoop中添加相关配置属性，以满足Hive在Hadoop上允许。 修改Hadoop中core-site.xml，并且Hadoop
转载
2023-06-12 20:22:19
700阅读
