报错信息：2023-07-31 14:31:02,502 INFO org.apache.hadoop.yarn.client.RMProxy [] - Connecting to ResourceManager at hadoop102/172.18.0.202:8032
2023-07-31 14:31:02,756 INFO org.apac
hdfs特点海量数据的存储支持TB、PB级别的数据存储故障成本较低部署在多台服务器上，相对于单独的大型服务器发生故障而言发生故障后损失成本较低高度容错hdfs在文件存储上采用冗余备份机制，每个文件都会被存储三次并且放在了不同的服务器上，一旦某台服务器宕机，可以快速恢复流式数据访问数据一次写入后，能进行多次读操作。写入后的数据无法修改（hadoop2中可以支持修改，但是在分布式文件系统中数据量级一般
转载
2024-03-25 21:48:13
78阅读
1、HDFS简介：HDFS（Hadoop Distributed File System ）Hadoop分布式文件系统。是根据google发表的论文GFS（Google File System）Google 文件系统翻版的。是一个主/从（Master/Slave）架构的系统，它主要由NameNode、DataNode、SecondaryNameNode、事务日志、映像文件等构成。Secondary
背景最近工作中用到阿里云OSS云存储系统;部门的服务器中大量冷数据长期不使用,但是又占据了大量存储空间,硬盘屡屡报错;因此有必要把服务器上面的冷数据备份一下。流程规划具体流程规划如下表数据类型数据特点原始埋点数据（GZIP压缩）当前数仓业务只访问一次。1年前的历史数据很少访问，只有当需要从源头恢复数据时候访问。无法从其他源头恢复。标准化埋点数据（parquet文件，snappy压缩）当前数仓业务只
转载
2024-04-14 14:29:49
84阅读
一、Nosql1、为什么使用Nosql大数据时代！！普通的数据库无法进行数据分析！Hadoop(2006)。历史发展：1 、单机MySQL时代（90年代）,一个网站的访问量一般不会太大，单个数据库完全够用问题：数据量增加到一定程度，单机数据库就放不下了数据的索引（B+ Tree）,一个机器内存也存放不下访问量变大后（读写混合），一台服务器承受不住。2、MySQL+MemCache（缓存）+垂直拆分
转载
2024-10-21 10:33:23
92阅读
背景HDFS 是 Hadoop 生态的默认存储系统，很多数据分析和管理工具都是基于它的 API 设计和实现的。但 HDFS 是为传统机房设计的，在云上维护 HDFS 一点也不轻松，需要投入不少人力进行监控、调优、扩容、故障恢复等一系列事情，而且还费用高昂，成本可能是对象存储是十倍以上。在存储与计算分离大趋势下，很多人尝试用对象存储来构建数据湖方案，对象存储也提供了用于 Hadoop 生态的 con
FastDFS学习笔记-FastDFS这一篇就够了1. FastDFS简介1.1 分布式文档系统对比 常见分布式文件系统有GFS,HDFS,FastDFS,TFS,GridFS（GridDS）,Ceph等，其实均是类GFS的文件系统。文档系统GFSHDFSFastDFSGridFSTFSCeph开发语言JavaCC++/MongoDBC++C++开源协议ApacheGPL V3GPL V2LGPL
转载
2024-04-19 12:52:07
309阅读
分布式文件系统-FastDFS+阿里OSS 目录分布式文件系统-FastDFS+阿里OSS一、配置FastDFS环境准备工作1.1、环境准备1.2、安装步骤(tracker虚拟机与storage虚拟机都要安装)1.2.1、安装基础库1.2.2、安装libfastcommon函数库1.2.3、安装fastdfs主程序文件1.2.4、拷贝配置文件到/etc/fdfs中二、配置tracker服务2.1、
转载
2024-04-08 08:56:35
106阅读
FastDFS介绍FastDFS是一个开源的轻量级分布式文件系统，它对文件进行管理，功能包括：文件存储、文件同步、文件访问（文件上传、文件下载）等，解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务，如相册网站、视频网站等等。在平时的学习和项目中，博主使用的是阿里云的OSS对象存储服务，毕竟是阿里云旗下的产品，有很全的API供你学习使用。当然，它是付费产品。其实就几顿外卖的钱就能包年
实验背景：192.168.122.101 namenode
192.168.122.102 dadanode
192.168.122.103 datanode
192.168.122.104 datanode
关闭几台主机的火墙,selinxnfs的实现如何让新加的结点，同步之前结点的数据?1.首先关闭之前的伪分布式[ha@server1 hadoop]$ sbin/stop-dfs.sh
--HDFS--Hadoop Distributed File SystemHDFS一个分布式，高容错，可线性扩展的文件系统简介：Hadoop分布式文件系统（HDFS）是一种分布式文件系统，设计用于在商用硬件上运行。它与现有的分布式文件系统有许多相似之处。但是，与其他分布式文件系统的差异很大。HDFS具有高度容错能力，旨在部署在低成本硬件上。HDFS提供对应用程序数据的高吞吐量访问，适用于具有大型
转载
2024-03-11 15:13:27
70阅读
1.Hadoop分布式文件系统(HDFS)是指被设计成适合运行在通用硬件(commodity hardware) 上的分布式文件系统（Distributed File System）。它和现有的分布式文件系统有很多共同点 。但同时，它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统， 适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。
转载
2024-03-28 09:30:40
201阅读
一、写过程①准备客户端（构建客户端对象）和服务端（启动NN和DN）②客户端向服务端发送上传请求③服务器端接收客户端的请求，并检查请求的合法性（路径是否存在，权限是否够等）④如果合法，响应客户端可以上传，否则无法上传⑤在上传时，数据以block的形式传输，写入到DN所在的机器。客户端请求上传第一块block，NN接收请求通过机架感知和设定的文件副本数返回客户端应该请求的DN列表⑥客户端向DN列表中距
转载
2024-04-30 22:25:46
24阅读
Python越来越受欢迎。它被用于DevOps、数据科学、Web开发和安全。然而，它并没有赢得任何速度奖牌。 就速度而言，Java与C或c++或c#或Python相比如何?答案在很大程度上取决于您正在运行的应用程序的类型。没有一个基准测试是完美的，但是计算机语言基准测试游戏是一个很好的起点。十多年来，我一直在参考计算机语言基准测试游戏;与其他语言如Java、c#、Go、JavaSc
转载
2023-10-17 19:43:54
76阅读
我不同意Python在多处理应用程序方面并不比Java好。首先，据我所知，我假设OP使用“better”来表示“更快的代码执行”。我患有“速度怪胎”综合症，可能是因为我有C/ASM的背景，所以我花了相当长的时间来弄清“Python是不是很慢？”问题。答案很简单吗？”可能是这样的。”这里有几个要点：1)对于多线程应用程序，Python将对任何没有类似GIL的语言不利。GIL是CPython中Pyth
转载
2023-11-17 17:25:25
45阅读
大数据存储技术的更新换代，使得海量大规模数据的存储日渐成熟，分布式数据分析计算引擎的发展，使得离线/实时的PB级数据分析成为可能。而如何能精确地匹配存储技术和计算框架，简化数据链路，健壮数据架构，以适应各种数据场景，一直是这两项大数据核心技术不断更迭的动力。 目前，广泛使用的大数据存储技术有：HDFS，HBase，Cassandr
转载
2024-09-26 06:27:39
50阅读
那么到这里，分布式文件存储部分讲完啦~这一块主要是针对传统的文件存储方式做的优化提升。那么咱们针对本阶段的学习做个简短的总结。来看一下下方思维脑图来梳理内容∶复习本阶段主要针对fastdfs与oss的讲解，首先我们讲了什么是分布式文件系统与其概念，在传统的文件上传中，我们往往是上传到同服务器，但是这样会面临一个问题，就是当文件越来越多的时候此时扩容是个问题，而且和业务服务耦合在一个计算机节点，所以
# 加速Java OSS文件下载的方法
## 介绍
在使用Java开发过程中，经常会遇到需要从OSS（对象存储服务）下载文件的情况。然而，有时候我们会发现在下载文件时速度比较慢。本文将介绍一些方法来加速Java OSS文件下载，以提高下载效率。
## 问题分析
Java OSS文件下载慢的原因可能有很多，其中常见的原因包括：
1. **网络环境差**：网络不稳定或者带宽不足会导致下载速度
原创
2024-03-15 03:29:47
110阅读
我们使用React Native开发APP，在列表中显示图片时，列表框经常出现长时间的空白。经过稍微研究和参考其他人的经验，我们知道React Native的ListView以及后来改进版的FlatList在安卓系统上都有内存使用方面的问题，很多团队在开发时都需要自己去优化这个控件，大体优化思路无非也就是将滚出显示区域外的图片占用的内存释放掉，具体实现起来会复杂一些。以上主要是背景介绍，不过有点跑
1. 压缩的好处和坏处压缩技术分为有损和无损：大数据场景下我们用到的都是无损；不允许丢失数据
好处减少存储磁盘空间降低IO(网络的IO和磁盘的IO)加快数据在磁盘和网络中的传输速度，从而提高系统的处理速度
坏处由于使用数据时，需要先将数据解压，加重CPU负荷
压缩在Hadoop中的应用
2. 压缩格式压缩格式工具算法扩展名codec类多文件splitablenativ
转载
2024-04-08 19:00:59
101阅读
