Hadoop 是 Google labs 的
MapReduce的一个实现，
Nutch项目的全部数据处理都构建在其之上。MapReduce是一种简化的分布式编程模式，让程序可以自动在普通机器组成的集群中以并行方式分布执行。
就如同java程序员可以不考虑内存泄露一样，MapReduce程序员也不许要关心海量数据如何被分配到
转载
2024-07-26 11:00:37
21阅读
Hadoop项目云盘项目一个云盘存储系统，将文件存入Hadoop中或者将Hadoop中的文件取出到本地。架构图技术点nginx：反向代理，负载均衡，动静分离；redis：利用redisson来对上传文件进行布隆过滤（已上传的文件无需再次上传）；进行session会话管理；HDFSAPI操作（项目功能）：创建文件夹，上传文件，下载文件，删除文件，查找某些类型的文件，复制文件，移动文件，重命名文件。f
转载
2023-09-22 13:20:47
308阅读
点赞
很多同学都有自己的网盘，方便存储一些java学习教程。该毕业设计实现了一个简易的网盘，包含文件上传和文件分享等功能。后端技术采用了spring，spring mvc，JPA，前端采用了thymeleaf模板语言。整体业务功能相对不是太复杂，亮点是文件分享功能。分享操作业务：@Controller
public class ShareController {
private Logger
转载
2023-06-26 13:20:00
486阅读
JAVA实现百度网盘文件上传配置信息的获取可以看专栏中的其他博客一、常量配置package com.shp.dev.service.baidu;
/**
* @Description: TODO 百度网盘基本常量信息
*/
public interface Constant {
String APP_ID="24110959";
String APP_NAME="云存储";
转载
2023-08-31 10:53:19
105阅读
## 如何实现Hadoop网盘
### 整体流程
首先，我们来看一下实现Hadoop网盘的整体流程，可以用以下表格展示步骤：
| 步骤 | 操作 |
| --- | --- |
| 1 | 搭建Hadoop集群 |
| 2 | 编写上传文件的接口 |
| 3 | 编写下载文件的接口 |
| 4 | 编写文件管理的接口 |
接下来，我们将详细介绍每一步需要做什么，以及所需使用的代码及其注释。
原创
2024-03-16 04:42:38
20阅读
文章目录一、功能需求二、开发环境三、系统测试1、登录2、注册3、 下载文件或文件夹（1）、下载的如果是文件的话，会下载到浏览器里面(2)、如果是文件夹的话，会下载到桌面（当然，这个路径你可以在代码中进行修改）4、上传文件5、剪切文件6、删除文件7、创建目录四、安装工具1、安装mysql2、安装mysql可视化工具3、测试mysql是否安装成功4、mysql workbench连接数据库5、创建表
转载
2023-09-20 03:52:02
267阅读
1评论
本来想写一个分布式文件系统，类似Hadoop，以此来增加Hadoop的认识，但是奈何技术受限，所以先写一个一对一的文件传输系统。一、设计方向设计一个简单的网盘，服务器一台，客户端若干。实现简单地文件传输。二、设计思路运用serversocket与socket网络编程作为底层来实现框架。运用Java的I/O实现文件传输的一系列问题。运用配置文件properties来实现统一的参数管理。三、系统文件版
转载
2024-01-03 23:16:30
169阅读
基于Hadoop1.0.4的分布式云网盘
基于Hadoop1.0.4的分布式云网盘是一款基于Hadoop平台的简易分布式网盘，整个架构由一个服务器节点（Master）以及若干数据节点（Slave/DataNode）组成小型云集群，具有低成本，高可扩展性等优势，能基本满足一个实验室的使用需求。 主要实现技术：Struct2.0+Servlet+Log4j+HDFS API,在Master主
thrift服务器框架：在网上找解决方案，一直无果无意间发现thrift服务器框架。thrift服务器框架是一种多语言的开发框架，支持C++、Java、C#、python、...还有一些我没有听说过的开发语言，听起来一个很牛很强大的框架。网上说hadoop 1.2.1的版本是提供thrfit的服务的。我在hadoop的配置文件中确实找了, 有thrift 的定义文件。运行脚本thrfit hado
转载
2024-06-28 00:50:54
53阅读
一、项目介绍一款开源、使用简单、功能完整的 Java 网盘/云盘系统。支持在线视频播放、文档在线预览、音乐播放、图片查看等功能的文件云存储平台。技术栈JDK 版本：1.8.0_131项目管理框架：Maven(m2e 1.8.0 for Eclipse)Archetype：mavem-archetype-quickstart 1.1Spring Boot：SpringBoot 基于 Spring 开
转载
2023-08-11 12:52:34
503阅读
由于有其他的工作，网盘做了一部分不得不放手了，我希望有时间的其他朋友可以继续工作，虽然网络上有很多现成的网盘代码，不过还是希望自己能做一个，并借鉴一些优秀的思想来实现，下面说下实现过程，有些部分需要改进一、数据库的设计，目前只涉及到用户表，当然还有其他的，你可以根据需要来增加#用户表
create table m_user(
id int primary key auto_incre
转载
2023-09-29 09:33:25
83阅读
文章目录一、dao层1、封装增删改查（BaseDao ）2、登陆注册的接口（UserDao ）3、登陆注册接口的实现类（UserDaoImpl ，需要继承BaseDao类、实现UserDao接口）二、HDFS类三、实体类（User ）四、连接数据库jdbc（JdbcUtil ）五、登陆注册页面（login.jsp）六、显示文件页面（index.jsp）一、dao层1、封装增删改查（BaseDao
转载
2024-01-25 17:13:45
101阅读
网盘是由rest api来实现的，很多不熟悉，所以这里借用Java api来伪实现以下，只要换成api就可以了。REST可参考：
hadoop、openstack web编程必读：什么是REST----RESTful架构起源及讲解
1.网盘如何与Javaweb相结合
作为云技术爱好者，我们都知道网盘。当然如果非云技术爱好者，也都知道网盘：百度网盘，360网盘等。
有一点不同的是，我们在
转载
2024-01-19 23:32:18
42阅读
Azu Cloud欢迎使用Azu Cloud云盘 V1.0新的改变如何使用注册教程左上角图标（登录后）如何上传文件如何分享？分享链接如何使用？口令如何使用？图像 视频 音频等如何在线查看开发者专区源码下载链接部署教程安装依赖修改数据库配置迁移数据库导入数据创建管理账户管理后台入口运行建议反馈通过网站通过频道 欢迎使用Azu Cloud云盘 V1.0你好！ 这是你第一次使用 Azu Cloud云盘
转载
2024-01-11 10:37:56
239阅读
## Hadoop 网盘搭建教程
在大数据时代，数据存储和管理变得越来越重要。Hadoop 是一个开源的分布式存储和计算框架，可以帮助我们构建一个高可靠、高可扩展的网盘系统。本文将介绍如何使用 Hadoop 搭建一个简单的网盘系统，并提供相应的代码示例。
### 环境准备
在开始搭建网盘系统之前，需要准备以下环境：
- Java JDK
- Hadoop
- Maven
### 创建 M
原创
2024-05-16 06:53:49
248阅读
首先Hadoop的搭建有三种方式，单机版适合开发调试;伪分布式版，适合模拟集群学习;完全分布式，生产使用的模式。这篇文件介绍如何搭建完全分布式的hadoop集群，一个主节点，三个数据节点为例来讲解。基础环境环境准备1、软件版本四台服务器配置，系统：centos6.5、内存：1G（视自己配置而定）、硬盘：20G（视自己配置而定）四台服务器分配的IP地址：192.168.10.131
192.168.
转载
2024-08-02 12:04:48
33阅读
前提：熟悉Linux系统操作，掌握基本的Linux命令注意：安装路径中不能有任何中文字符和空格！我安装的是ubuntu14，用户名是ubuntu，机器名是ubuntu，hadoop的版本是hadoop-2.7.1.tar.gz一、在Ubuntu下创建hadoop用户组和用户1、 将hadoop用户添加到系统用户ubuntu@ubuntu:~$ sudo addgroup hadoop
转载
2024-01-26 10:11:28
129阅读
开源项目推荐-私人网盘系统项目许多程序员都想搭建一个个人网盘，今天就和大家推荐一个备受欢迎的开源云盘系统——Cloudreve。目前，Cloudreve目前在Github上累计标星 10.8K，累计分支 1.9K。Cloudreve是个公有网盘程序，你可以用它快速搭建起自己的网盘服务，公有云/私有云都可。Cloudreve底层支持 本机存储、从机存储、阿里云OSS、又拍云、腾讯云COS、七牛云存储
转载
2023-12-18 21:07:05
43阅读
第2篇终于从老师那得到了一些思路，不至于像无头苍蝇一样漫无目的。第一步：搭建开发环境万事开头难，搭建开发环境尤甚，搭建环境用了我们一周的时间，才勉强将它搭好。1.安装Ubuntu由于Hadoop带有用Java语言编写的框架，适合运行在Linux平台上，本来是准备在win7上配置unix环境的，但最后还是决定装一个linux系统，一来感觉比较稳定，二来也是想尝试一下linux系统，我们几个人都没有用
转载
2024-05-29 10:23:28
93阅读
# Python网盘的实现与探索
随着云存储技术的发展，网盘（网络硬盘）已经成为我们日常生活中不可或缺的一部分。从个人数据备份到团队文件共享，网盘在提供便利的同时，也引发了安全性和隐私保护的问题。在这篇文章中，我们将探讨如何用Python构建一个基本的网盘应用。
## 1. 项目概述
我们要实现一个简单的网盘应用，功能包括：
- 用户注册与登录
- 文件上传与下载
- 文件列表显示
接下
