摘要：云计算是分布式计算,并行计算和网格计算的发展,给人类生活,生产方式和商业模式带来根本性改变,是当前全社会的热点之一.云存储是从云计算概念上延伸发展出来的一个新的概念,它是指通过集群应用,网格技术或分布式文件系统等功能,将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作,共同对外提供数据存储和业务访问功能的一个系统.随着云计算技术与云存储技术的广泛应用,其存在的安全问题不断突显
转载
2024-05-27 19:23:02
26阅读
1 前言HDFS（Hadoop Distributed File System）是我们熟知的Hadoop分布式文件系统，是一个高容错的系统，能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。HDFS以流式数据访问模式存储超大文件，将数据按块分布式存储到不同机器上，并被设计成适合运行在普通廉价硬件之上。本文根据Hadoop官网HDFS Architecture这一章节提炼而成，加上笔者自己的理
转载
2024-03-24 11:08:52
27阅读
HDFS作为Hadoop的文件系统，具有以下特点：高容错流式文件访问适合大数据
转载
2022-01-12 14:54:53
249阅读
HDFS作为Hadoop的文件系统，具有以下特点：高容错流式文件访问适合大数据处理适合批处理高容错率可以使它构建在廉洁的机器上当然也有缺点：不擅
转载
2021-12-27 16:48:07
607阅读
在一个Hadoop集群中有不同类型的节点，它们对磁盘的要求是不同的。主（master）节点侧重于存储的可靠性，数据（data）节点就需要更好的读写性能，以及较大的容量。在虚拟集群中，存储（datastore）可以分为本地（local）和共享（shared）两种类型。本地存储只能被其所在的主机上的虚拟机访问，而共享存储则可以被其他主机上的虚拟机访问到。本地存储的读写性能更好，而共享存储的可靠性更好。
转载
2024-09-23 08:01:21
106阅读
我的云图库** 以下的基于安卓客户端和linux服务端，服务端将数据转化成json数据，在安卓端进行接受以及转化成我们需要的数据的类型。**前提 1.一台装有tomcat（配置好远程部署）的服务器（本机也可以，访问的地址要改成 10.0.2.2，绝对不能是127.0.0.1或者localhost，如果处在局域网内要根据实际情况调整）。 2.需要的jar包：谷歌公司提供的Gson.jar包，以及we
转载
2024-06-11 16:48:57
62阅读
hadoop网盘的最终效果见下面，可以实现简单的文件上传、删除、下载功能，不同用户可以登录到自己的页面进行管理。一、准备的安装包资源（1）hadoop1.1.2安装包（2）bootmetro一个CSS开元框架，用来提高web前端的开发效率（3）mysql的Jdbc驱动包（4）上传组件（5）mysql安装包（我的电脑是x64，x86系统的请下载对应版本即可） 二、搭建hadoop集群环境教
这里写自定义目录标题先来看一下效果：普通人需要掌握的知识：需要的软件支持第一步下载webdav-aliyundriver的包第二步下载Java运行环境JDK1：首先下载JDK2：安装JDK3：配置环境4：验证安装是否成功第三步 运行webdav-aliyundriver包然后，然后，最后一步就要完成了：挂载实现注意！！！所有的包 先来看一下效果：普通人需要掌握的知识：会安装软件、用鼠标键盘即可！
转载
2023-09-27 18:59:15
352阅读
1. 介绍Commonservice-system是一个大型分布式、微服务、面向企业的JavaEE体系快速研发平台，基于模块化、服务化、原子化、热插拔的设计思想，使用成熟领先的无商业限制的主流开源技术构建。 采用服务化的组件开发模式，可实现复杂的业务功能。提供驱动式开发模式，整合内置的代码生成器，将JavaEE开发效率提高5倍以上，减少50%的代码开发量，解决80%的重复工作，让开发者更关注业务逻
转载
2023-10-09 08:15:39
98阅读
现如今，面向企业的移动办公与存储的网盘系统有着广泛的市场需求，随着企业对网盘需求的不断提高，传统的网盘技术在性能、用户共享、安全性、可扩展性等方面已经力不从心并存在诸多的缺陷。最新的云存储技术，为网盘行业带来了新的革命。云存储是构架在高速分布式存储网络上的数据中心，它将网络中大量不同类型的存储设备通过应用软件集合起来协同工作，形成一个安全的数据存储和访问系统，适用于各大中小型企业数据资料存储、备份
@[TOC]1、前言自云存储概念兴起已经有段时间了，各互联网大厂也纷纷加入战局，一时间公有云盘遍地开花。但一段时间后，公有云盘潜在的安全问题也暴露出来，原有的共有云盘用户纷纷转为搭建私有云盘，也带动了群晖等一众私有云盘供应商的发展。可群晖硬件动辄数千，让个人消费者难以招架，是否能将个人电脑改造为私有云盘呢？答案自然是肯定的，今天我们就为大家介绍，如何使用Cpolar与Cloudreve，在个人Wi
原创
2023-09-12 13:06:44
481阅读
云计算系统盘数据盘Ceph：重新定义数据存储解决方案
云计算技术的快速发展对数据存储提出了更高的要求。传统的存储系统面临诸多挑战，包括数据容量不足、性能瓶颈、数据可靠性不高等问题。而在这一背景下，Ceph作为一种先进的分布式存储解决方案，正在引起越来越多企业的关注和采用。
Ceph是一个开源的分布式存储系统，具备高度可扩展性和高性能。它通过将数据分散存储在多个节点上，并提供冗余备份，实现数据的
原创
2024-02-05 12:17:59
444阅读
随着互联网的高速发展以及国家政策扶持，我国云计算行业发展迅猛，云计算人才也成为稀缺人才。众所周知，云计算和开源是相爱相生的关系，借助开源社区的力量，云计算技术迅速占领市场，不过常用的云计算开源工具有哪些呢?1、Kubernetes过去两年Kuberentes已成为火爆的开源项目之一，相信在未来Kuberentes的势头会更劲，其拥有大量的扩展工具，其优势在于：1)通过基于角色的访问控制可以更好地支
转载
2023-10-07 12:43:05
81阅读
简介：快速对接第三方云存储，支持七牛、又拍、阿里OSS、AWS S3、Onedrive、自建远程服务器，当然，还有本地存储。自定义主题配色，图片、音频、视频、文本、Markdown、Ofiice文档 在线预览，移动端全站，响应式布局。初步完善的后台，方便管理，拖拽上传、分片上传、断点续传，多上传策略，可为不同用户组分配不同策略。WebDAV协议支持。下载方式:www.lanzouit.com/iA
原创
2022-01-19 19:43:08
1129阅读
如何用最低成本搭建自己的网络云盘概述准备工作设置云服务器设置本地客户端完成 概述本文讲述如何用最低的成本搭建网络云盘，不限空间，跑满带宽。准备工作阿里云的轻量级应用服务器，本地客户端，移动硬盘阿里云的轻量级应用服务器 ，租用阿里云轻量级应用服务器一台，学生优惠价格为9.5/月，24岁以下自动学生认证，带公网IP，2G内存，40GSSD，5Mbps带宽，1000G流量；本地客户端 ，任意一款可以运
转载
2023-12-22 18:53:20
4阅读
随着信息化程度的不断提高，全球数据日益膨胀。面对当前PB级的海量数据存储需求，传统的存储系统在容量和性能的扩展上存在瓶颈。云存储以其扩展性强、性价比高、容错性好等优势得到了业界的广泛认同。 云存储伴随着云计算产生，作为云计算的先驱，它很早就进入了广大研究人员的视野，由于其前瞻性，众多企业都将其作为进军云计算的第一步。 文件系统 是操作系统的重要组成部分，用来管理和存储大量的文件信息，负责
转载
2024-03-14 22:48:24
73阅读
s, 209715200 sectorsUnits = sectors of 1 * 512 = 512 bytesSector size (logical/p
原创
2023-04-22 09:18:52
319阅读
阿里云数据库首个跨入IOPS百万时代的云盘——ESSD，单盘IOPS高达100万，比上一代SSD云盘最高测试数据快40倍，这是阿里云迄今为止性能最强的企业级数据库存储介质。搭配阿里云RDS云数据库，ESSD可提供单盘高达100万IOPS的随机读写能力和4000MB吞吐量，单路时延低至0.1毫秒，单台云服务器整体存储性能提升了500%。虽然最高100万的IOPS比SSD云盘提升了40倍之多，但阿里云
转载
2024-10-09 21:23:34
83阅读
首先吐槽一下安装软件，文件名是 360wangpan，安装好后软件名称是“360云盘”，好歹得统一下嘛，不然还以为下错了安装文件呢。一般使用和其他网盘差不多，速度也还行，但还是没有百度网盘的快。重点要说的是它的功能大全里的“同步文件夹”和“自动备份”这两个功能。同步文件夹这个功能感觉没做好。首先操作文件夹同步不方便直观，需要先选择一个360云盘上的文件夹，然后再选择本地文件夹。这样它就会在选择后的
转载
2023-10-07 21:55:29
283阅读
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录前言第二个问题Bug分析 前言源码内容的总结1) namenode启动的流程
2) Datanode的启动流程（初始化，注册，心跳）
3) 元数据的管理
双缓冲机制
standBy Namenode从journalnode同步元数据
standBy Namenode合并元数据，替换active nameno
转载
2024-09-24 07:48:48
97阅读
