中配置Hadoop分布式云计算平台目录：1.在VMware虚拟机中安装redhat-linux操作系统（我们使用的操作系统是linux9使用的虚拟机是VMware7.0版）2.在安装好的虚拟机中，配置网络文件（Hadoop要求不同的节点需要使用命名相同的用户文件存储位置等，这里我们都使用root用户，以简化配置）3.在配置好的网络文件中ping通主机和个子节点，启动linux9自带的ftp服务器和
转载
2024-10-12 12:01:10
86阅读
网盘是由rest api来实现的，很多不熟悉，所以这里借用Java api来伪实现以下，只要换成api就可以了。REST可参考：
hadoop、openstack web编程必读：什么是REST----RESTful架构起源及讲解
1.网盘如何与Javaweb相结合
作为云技术爱好者，我们都知道网盘。当然如果非云技术爱好者，也都知道网盘：百度网盘，360网盘等。
有一点不同的是，我们在
转载
2024-01-19 23:32:18
42阅读
本来想写一个分布式文件系统，类似Hadoop，以此来增加Hadoop的认识，但是奈何技术受限，所以先写一个一对一的文件传输系统。一、设计方向设计一个简单的网盘，服务器一台，客户端若干。实现简单地文件传输。二、设计思路运用serversocket与socket网络编程作为底层来实现框架。运用Java的I/O实现文件传输的一系列问题。运用配置文件properties来实现统一的参数管理。三、系统文件版
转载
2024-01-03 23:16:30
169阅读
文章目录一、功能需求二、开发环境三、系统测试1、登录2、注册3、 下载文件或文件夹（1）、下载的如果是文件的话，会下载到浏览器里面(2)、如果是文件夹的话，会下载到桌面（当然，这个路径你可以在代码中进行修改）4、上传文件5、剪切文件6、删除文件7、创建目录四、安装工具1、安装mysql2、安装mysql可视化工具3、测试mysql是否安装成功4、mysql workbench连接数据库5、创建表
转载
2023-09-20 03:52:02
267阅读
1评论
基于Hadoop1.0.4的分布式云网盘
基于Hadoop1.0.4的分布式云网盘是一款基于Hadoop平台的简易分布式网盘，整个架构由一个服务器节点（Master）以及若干数据节点（Slave/DataNode）组成小型云集群，具有低成本，高可扩展性等优势，能基本满足一个实验室的使用需求。 主要实现技术：Struct2.0+Servlet+Log4j+HDFS API,在Master主
第2篇终于从老师那得到了一些思路，不至于像无头苍蝇一样漫无目的。第一步：搭建开发环境万事开头难，搭建开发环境尤甚，搭建环境用了我们一周的时间，才勉强将它搭好。1.安装Ubuntu由于Hadoop带有用Java语言编写的框架，适合运行在Linux平台上，本来是准备在win7上配置unix环境的，但最后还是决定装一个linux系统，一来感觉比较稳定，二来也是想尝试一下linux系统，我们几个人都没有用
转载
2024-05-29 10:23:28
93阅读
thrift服务器框架：在网上找解决方案，一直无果无意间发现thrift服务器框架。thrift服务器框架是一种多语言的开发框架，支持C++、Java、C#、python、...还有一些我没有听说过的开发语言，听起来一个很牛很强大的框架。网上说hadoop 1.2.1的版本是提供thrfit的服务的。我在hadoop的配置文件中确实找了, 有thrift 的定义文件。运行脚本thrfit hado
转载
2024-06-28 00:50:54
53阅读
本系统设计了两种用户角色：普通用户和系统管理员。普通用户可以使用系统提供的网盘对自己网
原创
2023-06-02 08:46:19
838阅读
Azu Cloud欢迎使用Azu Cloud云盘 V1.0新的改变如何使用注册教程左上角图标（登录后）如何上传文件如何分享？分享链接如何使用？口令如何使用？图像 视频 音频等如何在线查看开发者专区源码下载链接部署教程安装依赖修改数据库配置迁移数据库导入数据创建管理账户管理后台入口运行建议反馈通过网站通过频道 欢迎使用Azu Cloud云盘 V1.0你好！ 这是你第一次使用 Azu Cloud云盘
转载
2024-01-11 10:37:56
239阅读
前提：熟悉Linux系统操作，掌握基本的Linux命令注意：安装路径中不能有任何中文字符和空格！我安装的是ubuntu14，用户名是ubuntu，机器名是ubuntu，hadoop的版本是hadoop-2.7.1.tar.gz一、在Ubuntu下创建hadoop用户组和用户1、 将hadoop用户添加到系统用户ubuntu@ubuntu:~$ sudo addgroup hadoop
转载
2024-01-26 10:11:28
129阅读
Hadoop项目云盘项目一个云盘存储系统，将文件存入Hadoop中或者将Hadoop中的文件取出到本地。架构图技术点nginx：反向代理，负载均衡，动静分离；redis：利用redisson来对上传文件进行布隆过滤（已上传的文件无需再次上传）；进行session会话管理；HDFSAPI操作（项目功能）：创建文件夹，上传文件，下载文件，删除文件，查找某些类型的文件，复制文件，移动文件，重命名文件。f
转载
2023-09-22 13:20:47
308阅读
点赞
今天，小编就据目前互联网行业的发展，以及大数据Hadoop分布式集群等等来讲解一下，政企如何搭建大数据计算服务平台。互联网信息技术的迅猛发展，云计算、物联网、智能科技、AI、超级计算机等等的出现和发展，使数据量不断增长，可以说是呈现“巨量”增长的趋势，由此产生的庞大数据量已经不能用传统的数据统计来计算了，并且也无法利用传统的技术手段对数据进行存储。“大数据”这个互联网的热门词汇，不仅仅影响了企业机
转载
2024-09-25 15:36:54
69阅读
基于jsp+servlet+pojo+mysql实现一个javaee/javaweb的网盘, 该项目可用各类java课程设计大作业中, 网盘的系统架构分为前后台两部分, 最终实现在线上进行网盘各项功能,实现了诸如用户管理, 登录注册, 权限管理等功能, 并实现对各类网盘相关的实体进行管理。该网盘为一个采用mvc设计模式进行开发B/S架构项目,并采用分层架构对项目进行架构, 分为pojo+actio
转载
2023-05-30 21:12:12
494阅读
目录1.配置host2.设置共享文件夹3.安装mysql4.在eclipse中安装并新建Dynamic Web Project5.Tomcat安装6.进行jar包的拷贝7.代码编写7.1 index.jsp7.2 head.jsp7.3 UploadServlet.java7.4 HdfsDAO.java7.5 DeleteFileServlet.java7.6 DownloadServlet.
转载
2024-07-18 06:54:04
123阅读
## 如何实现Hadoop网盘
### 整体流程
首先，我们来看一下实现Hadoop网盘的整体流程，可以用以下表格展示步骤：
| 步骤 | 操作 |
| --- | --- |
| 1 | 搭建Hadoop集群 |
| 2 | 编写上传文件的接口 |
| 3 | 编写下载文件的接口 |
| 4 | 编写文件管理的接口 |
接下来，我们将详细介绍每一步需要做什么，以及所需使用的代码及其注释。
原创
2024-03-16 04:42:38
20阅读
最近在学习hadoop的相关知识，顺便在自己的虚拟机上做一个hadoop 的javaweb项目，类似于一个云盘的效果，通过hadoop中的hdfs文件管理来实现一些文件的上传和下载的功能，现在已经做到能够实现文件的上传功能，还在进一步的完善中，等过几天再把完整的项目内容贴到这上面。首先说一下关于hadoop的搭建步骤： 1、首先要在linux上安装hadoop，步骤很简单，但是会有很多的细节问题
转载
2023-11-01 21:25:57
64阅读
基于Hadoop分布式存储网盘的实现
原创
2022-05-24 02:41:23
1083阅读
云计算（cloud computing)，由位于网络上的一组服务器把其计算、存储、数据等资源以服务的形式提供给请求者以完成信息处理任务的方法和过程。在此过程中被服务者只是提供需求并获取服务结果，对于需求被服务的过程并不知情。同时服务者以最优利用的方式动态地把资源分配给众多的服务请求者，以求达到最大效益。 Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(co
转载
2024-01-28 01:23:14
154阅读
Hadoop云盘项目总结0. 项目介绍介绍视频：
基于Hadoop搭建HA高可用网盘系统 搭建过程： 我的搭建过程 小组成员的搭建过程 项目地址待完善后会发出来 技术栈:HDFS、Sqoop、Flume、Ganglia、Azkaban、Zookeeper、Redis、Nginx、Docker、Vue-Cli **实现功能：**使用 Hadoop 搭建 HA 集群实现网盘系统，前端采用
转载
2024-05-08 09:17:24
6阅读
云服务器搭建伪分布式hadoop实现远程连接环境配置概述本文章基于腾讯云服务器环境进行安装部署hadoop3.1.3伪分布式环境， 前提是默认服务器已经配置好了JDK和SSH免密安装配置1.下载压缩包可以去官网下载，也可领取我的百度云链接文件 链接：https://pan.baidu.com/s/1424B3OYg35A47b-R3CIZ0Q 提取码：12342.解压进入压缩包路径进行解压：tar
转载
2024-01-10 12:12:46
58阅读
