从今天开始，做一个云盘。不知道什么时候才可以完成任务。
原创
2013-11-22 20:12:28
587阅读
云计算的几大形式云计算服务类型
基础设施即服务（IaaS） - 提供硬件设备 ：例如 个人搭建网站不需要再去租服务器，买数据库，可在云平台上付费购买空间及相应服务。
eg. Google app engine ; Amazon Web Services (AWS) ; 阿里云；新浪云软件即服务（SaaS） - WebService ： 各系统之间可以相
转载
2023-08-11 13:22:58
120阅读
阿里云安装部署Oracle11g 在云计算时代是很方便的，可靠的IAAS，PAAS和SAAS平台可以帮助用户将已有或正在研发的项目迁移到云计算平台。环境准备：购买阿里云ECS服务器计费方式：可选包年包月，建议业务量较多的的，数据库要一直在线的，选包年包月。地域选择：和你的应用服务器，最好是在同一个可用区（访问速度最快），也可以同一地域，不同可用区，用于多机房部署的情况。CPU内存： 根据实际需要选
转载
2023-12-08 17:20:59
674阅读
摘要：云计算是分布式计算,并行计算和网格计算的发展,给人类生活,生产方式和商业模式带来根本性改变,是当前全社会的热点之一.云存储是从云计算概念上延伸发展出来的一个新的概念,它是指通过集群应用,网格技术或分布式文件系统等功能,将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作,共同对外提供数据存储和业务访问功能的一个系统.随着云计算技术与云存储技术的广泛应用,其存在的安全问题不断突显
转载
2024-05-27 19:23:02
26阅读
Hadoop云盘项目总结0. 项目介绍介绍视频：
基于Hadoop搭建HA高可用网盘系统 搭建过程： 我的搭建过程 小组成员的搭建过程 项目地址待完善后会发出来 技术栈:HDFS、Sqoop、Flume、Ganglia、Azkaban、Zookeeper、Redis、Nginx、Docker、Vue-Cli **实现功能：**使用 Hadoop 搭建 HA 集群实现网盘系统，前端采用
转载
2024-05-08 09:17:24
6阅读
目录1.配置host2.设置共享文件夹3.安装mysql4.在eclipse中安装并新建Dynamic Web Project5.Tomcat安装6.进行jar包的拷贝7.代码编写7.1 index.jsp7.2 head.jsp7.3 UploadServlet.java7.4 HdfsDAO.java7.5 DeleteFileServlet.java7.6 DownloadServlet.
转载
2024-07-18 06:54:04
123阅读
安装环境jdk1.8+centos7+hadoop-2.8hadoop安装包：链接：https://pan.baidu.com/s/1k0VNJS-dOTM01pJf5JdE7A 提取码：ebm8 复制这段内容后打开百度网盘手机App，操作更方便哦一．安装环境：jdk1.8+hadoop-2.8.0+centos7二．虚拟机网络配置三．JDK安装下载并安装：$sudo yum insta
转载
2023-07-13 14:32:39
355阅读
基于hadoop-2.8.5下的云环境搭建一、Hdfs搭建过程（By 傩傩）1、准备2、编写dockerfile3、构建镜像4、根据构建好的镜像创建并进入容器5、修改配置6、启动集群7、检查8、打包（可选操作）二、yarn配置（By Ninght）1.基本参数配置1>.yarn.resourcemanager.hostname2>.yarn.resourcemanager.addre
转载
2024-07-17 18:07:05
150阅读
hadoop网盘的最终效果见下面，可以实现简单的文件上传、删除、下载功能，不同用户可以登录到自己的页面进行管理。一、准备的安装包资源（1）hadoop1.1.2安装包（2）bootmetro一个CSS开元框架，用来提高web前端的开发效率（3）mysql的Jdbc驱动包（4）上传组件（5）mysql安装包（我的电脑是x64，x86系统的请下载对应版本即可） 二、搭建hadoop集群环境教
云计算云计算（Cloud Computing）是基于互联网的一种计算方式，通过这种方式，共享的软硬件资源和信息可以按需提供给计算机和其它设备。分布式计算（Distributed Computing）、并行计算（Parallel Computing）、效用计算（Utility Computing）、网络存储（Network Storage Technologies）、虚拟化（Virtualizati
转载
2023-11-02 08:44:37
29阅读
Hadoop是由ASF(Apache SoftwareFoundation)源于Lucene的子项目Nutch所开发的开源分布式计算平台，可以构建具有高容错性、可伸缩性、低成本、和良好扩展的高效分布式系统，允许用户将Hadoop部署在大量廉价硬件设备所组成的集群上，为应用程序提供一组稳定可靠的接口，充分利用集群的存储和计算能力，完成海量数据的处理。由于Hadoop优势突出，得到了众多企业和个人的青
转载
2023-08-11 13:19:17
131阅读
阿里云数据库首个跨入IOPS百万时代的云盘——ESSD，单盘IOPS高达100万，比上一代SSD云盘最高测试数据快40倍，这是阿里云迄今为止性能最强的企业级数据库存储介质。搭配阿里云RDS云数据库，ESSD可提供单盘高达100万IOPS的随机读写能力和4000MB吞吐量，单路时延低至0.1毫秒，单台云服务器整体存储性能提升了500%。虽然最高100万的IOPS比SSD云盘提升了40倍之多，但阿里云
转载
2024-10-09 21:23:34
80阅读
云服务器搭建伪分布式hadoop实现远程连接环境配置概述本文章基于腾讯云服务器环境进行安装部署hadoop3.1.3伪分布式环境， 前提是默认服务器已经配置好了JDK和SSH免密安装配置1.下载压缩包可以去官网下载，也可领取我的百度云链接文件 链接：https://pan.baidu.com/s/1424B3OYg35A47b-R3CIZ0Q 提取码：12342.解压进入压缩包路径进行解压：tar
转载
2024-01-10 12:12:46
58阅读
Hadoop项目云盘项目一个云盘存储系统，将文件存入Hadoop中或者将Hadoop中的文件取出到本地。架构图技术点nginx：反向代理，负载均衡，动静分离；redis：利用redisson来对上传文件进行布隆过滤（已上传的文件无需再次上传）；进行session会话管理；HDFSAPI操作（项目功能）：创建文件夹，上传文件，下载文件，删除文件，查找某些类型的文件，复制文件，移动文件，重命名文件。f
转载
2023-09-22 13:20:47
308阅读
点赞
近期在hadoop云盘client项目。在做这个项目曾经对hadoop是一点都不了解呀，在网上查了好久。将client开发的是非常少的，在做这个项目的过程中遇到非常多奇葩的问题。并且试图换过好多方案，曾陷入深渊准备放弃。最后还是坚持下来了。在这里写篇博文。把我近期的遇到的困难和做client 的基本
转载
2018-02-11 19:05:00
214阅读
2评论
企业云盘即将成为企业存储数据的重要工具 随着现代社会科学技术的发展，技术的发展创造了新的商业形式和经济形式。此外，分布式存储已经成为许多数据存储市场的新方向，尤其是企业云盘。所以我们今天想知道的是互联网云技术的产物，企业云盘，是互联网企业和个人提供大量信息，存储、阅读和下载的服务。 并且具有安全、稳定、海量存储的特点。其目前的业务主要提供云盘空间租赁、远程备份等几大类。其中，企
转载
2023-12-28 07:19:20
104阅读
首先我们要完成SSH无密码通信等内容，见上篇文章《Hadoop环境初步搭建》后两篇文章是关于《Hadoop下实例程序测试》，这些文章都是无缝衔接的哈~ 在master这台机器上安装Hadoop 2.2.0,Hadoop 2.2.0的下载地址为：http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.2.0///( https://ar
转载
2024-10-12 10:45:37
9阅读
## 如何实现Hadoop网盘
### 整体流程
首先，我们来看一下实现Hadoop网盘的整体流程，可以用以下表格展示步骤：
| 步骤 | 操作 |
| --- | --- |
| 1 | 搭建Hadoop集群 |
| 2 | 编写上传文件的接口 |
| 3 | 编写下载文件的接口 |
| 4 | 编写文件管理的接口 |
接下来，我们将详细介绍每一步需要做什么，以及所需使用的代码及其注释。
原创
2024-03-16 04:42:38
20阅读
文章目录一、功能需求二、开发环境三、系统测试1、登录2、注册3、 下载文件或文件夹（1）、下载的如果是文件的话，会下载到浏览器里面(2)、如果是文件夹的话，会下载到桌面（当然，这个路径你可以在代码中进行修改）4、上传文件5、剪切文件6、删除文件7、创建目录四、安装工具1、安装mysql2、安装mysql可视化工具3、测试mysql是否安装成功4、mysql workbench连接数据库5、创建表
转载
2023-09-20 03:52:02
267阅读
1评论
阿里云环境下搭建HadoopHA集群1. HadoopHA介绍1.1 hadoop高可用集群的简介 hadoop是一个海量数据存储和计算的平台，能够存储PB级以上的数据，并且利用MapReduce可以对这些数据进行并发式计算；hadoop平台采用的是主从式架构（master/slave）即一个master和若干个slave，这个master就是namenode节点，该节点负责存储和管理元数据、配置
转载
2024-05-20 21:55:14
33阅读
