文章目录前言一、实验简介二、分析与设计1. 功能需求分析：2. 系统设计三、效果展示四、环境配置五、功能实现1. 基础部分2. 用户管理3. 文件管理六、项目资源七、其他八、参考文件 前言基于HDFS的云盘系统实现了云盘的基本数据存储和访问功能。此为大二下大数据平台与架构的综合实验内容，本文旨在记录过程和问题，固然存在很多不合理的地方。一、实验简介云盘系统通过互联网为企业和个人提供信息的存储、读
摘要：云计算是分布式计算,并行计算和网格计算的发展,给人类生活,生产方式和商业模式带来根本性改变,是当前全社会的热点之一.云存储是从云计算概念上延伸发展出来的一个新的概念,它是指通过集群应用,网格技术或分布式文件系统等功能,将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作,共同对外提供数据存储和业务访问功能的一个系统.随着云计算技术与云存储技术的广泛应用,其存在的安全问题不断突显
1 前言HDFS（Hadoop Distributed File System）是我们熟知的Hadoop分布式文件系统，是一个高容错的系统，能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。HDFS以流式数据访问模式存储超大文件，将数据按块分布式存储到不同机器上，并被设计成适合运行在普通廉价硬件之上。本文根据Hadoop官网HDFS Architecture这一章节提炼而成，加上笔者自己的理
一、项目主要功能1、类似于百度云，用户可以在网盘中新建多层文件夹，并可以上传文件、下载文件、删除文件、删除文件夹（里面所有文件也会随之删除） 2、提供文件分类功能，可根据后缀名将文件分成视频、图片、音乐等。 3、用户可以分享文件，分享的文件可以在分享区中看到并下载。结构：效果：二、数据表设计这里采用MySQL数据库 为了实现功能，我们需要三个数据表：记录用户信息、文件夹信息和文件信息的数据表
转载
2023-10-09 18:54:12
126阅读
HDFS作为Hadoop的文件系统，具有以下特点：高容错流式文件访问适合大数据
转载
2022-01-12 14:54:53
177阅读
HDFS作为Hadoop的文件系统，具有以下特点：高容错流式文件访问适合大数据处理适合批处理高容错率可以使它构建在廉洁的机器上当然也有缺点：不擅
转载
2021-12-27 16:48:07
430阅读
在一个Hadoop集群中有不同类型的节点，它们对磁盘的要求是不同的。主（master）节点侧重于存储的可靠性，数据（data）节点就需要更好的读写性能，以及较大的容量。在虚拟集群中，存储（datastore）可以分为本地（local）和共享（shared）两种类型。本地存储只能被其所在的主机上的虚拟机访问，而共享存储则可以被其他主机上的虚拟机访问到。本地存储的读写性能更好，而共享存储的可靠性更好。
我的云图库** 以下的基于安卓客户端和linux服务端，服务端将数据转化成json数据，在安卓端进行接受以及转化成我们需要的数据的类型。**前提 1.一台装有tomcat（配置好远程部署）的服务器（本机也可以，访问的地址要改成 10.0.2.2，绝对不能是127.0.0.1或者localhost，如果处在局域网内要根据实际情况调整）。 2.需要的jar包：谷歌公司提供的Gson.jar包，以及we
前言：是Hadoop中用于数据存储的模块概述 1.Hadopp中用于数据存储的模块 2.在存储数据的时候会将数进行切块，每一个快是一个Block，在Hadoop2.0是128M。 3.HDFS会对数据块
原创
2021-04-13 20:32:54
299阅读
这里写自定义目录标题先来看一下效果：普通人需要掌握的知识：需要的软件支持第一步下载webdav-aliyundriver的包第二步下载Java运行环境JDK1：首先下载JDK2：安装JDK3：配置环境4：验证安装是否成功第三步 运行webdav-aliyundriver包然后，然后，最后一步就要完成了：挂载实现注意！！！所有的包 先来看一下效果：普通人需要掌握的知识：会安装软件、用鼠标键盘即可！
转载
2023-09-27 18:59:15
337阅读
@[TOC]1、前言自云存储概念兴起已经有段时间了，各互联网大厂也纷纷加入战局，一时间公有云盘遍地开花。但一段时间后，公有云盘潜在的安全问题也暴露出来，原有的共有云盘用户纷纷转为搭建私有云盘，也带动了群晖等一众私有云盘供应商的发展。可群晖硬件动辄数千，让个人消费者难以招架，是否能将个人电脑改造为私有云盘呢？答案自然是肯定的，今天我们就为大家介绍，如何使用Cpolar与Cloudreve，在个人Wi
原创
2023-09-12 13:06:44
354阅读
1. 介绍Commonservice-system是一个大型分布式、微服务、面向企业的JavaEE体系快速研发平台，基于模块化、服务化、原子化、热插拔的设计思想，使用成熟领先的无商业限制的主流开源技术构建。 采用服务化的组件开发模式，可实现复杂的业务功能。提供驱动式开发模式，整合内置的代码生成器，将JavaEE开发效率提高5倍以上，减少50%的代码开发量，解决80%的重复工作，让开发者更关注业务逻
转载
2023-10-09 08:15:39
83阅读
随着互联网的高速发展以及国家政策扶持，我国云计算行业发展迅猛，云计算人才也成为稀缺人才。众所周知，云计算和开源是相爱相生的关系，借助开源社区的力量，云计算技术迅速占领市场，不过常用的云计算开源工具有哪些呢?1、Kubernetes过去两年Kuberentes已成为火爆的开源项目之一，相信在未来Kuberentes的势头会更劲，其拥有大量的扩展工具，其优势在于：1)通过基于角色的访问控制可以更好地支
转载
2023-10-07 12:43:05
77阅读
云计算系统盘数据盘Ceph：重新定义数据存储解决方案
云计算技术的快速发展对数据存储提出了更高的要求。传统的存储系统面临诸多挑战，包括数据容量不足、性能瓶颈、数据可靠性不高等问题。而在这一背景下，Ceph作为一种先进的分布式存储解决方案，正在引起越来越多企业的关注和采用。
Ceph是一个开源的分布式存储系统，具备高度可扩展性和高性能。它通过将数据分散存储在多个节点上，并提供冗余备份，实现数据的
简介：快速对接第三方云存储，支持七牛、又拍、阿里OSS、AWS S3、Onedrive、自建远程服务器，当然，还有本地存储。自定义主题配色，图片、音频、视频、文本、Markdown、Ofiice文档 在线预览，移动端全站，响应式布局。初步完善的后台，方便管理，拖拽上传、分片上传、断点续传，多上传策略，可为不同用户组分配不同策略。WebDAV协议支持。下载方式:www.lanzouit.com/iA
原创
2022-01-19 19:43:08
993阅读
如何用最低成本搭建自己的网络云盘概述准备工作设置云服务器设置本地客户端完成 概述本文讲述如何用最低的成本搭建网络云盘，不限空间，跑满带宽。准备工作阿里云的轻量级应用服务器，本地客户端，移动硬盘阿里云的轻量级应用服务器 ，租用阿里云轻量级应用服务器一台，学生优惠价格为9.5/月，24岁以下自动学生认证，带公网IP，2G内存，40GSSD，5Mbps带宽，1000G流量；本地客户端 ，任意一款可以运
自己编写的简易看盘软件-java，仅当娱乐。在此留作纪念
原创
2010-04-16 17:59:02
800阅读
s, 209715200 sectorsUnits = sectors of 1 * 512 = 512 bytesSector size (logical/p
原创
2023-04-22 09:18:52
276阅读
首先吐槽一下安装软件，文件名是 360wangpan，安装好后软件名称是“360云盘”，好歹得统一下嘛，不然还以为下错了安装文件呢。一般使用和其他网盘差不多，速度也还行，但还是没有百度网盘的快。重点要说的是它的功能大全里的“同步文件夹”和“自动备份”这两个功能。同步文件夹这个功能感觉没做好。首先操作文件夹同步不方便直观，需要先选择一个360云盘上的文件夹，然后再选择本地文件夹。这样它就会在选择后的
转载
2023-10-07 21:55:29
157阅读
随着信息化程度的不断提高，全球数据日益膨胀。面对当前PB级的海量数据存储需求，传统的存储系统在容量和性能的扩展上存在瓶颈。云存储以其扩展性强、性价比高、容错性好等优势得到了业界的广泛认同。 云存储伴随着云计算产生，作为云计算的先驱，它很早就进入了广大研究人员的视野，由于其前瞻性，众多企业都将其作为进军云计算的第一步。 文件系统 是操作系统的重要组成部分，用来管理和存储大量的文件信息，负责
