thrift服务器框架：在网上找解决方案，一直无果无意间发现thrift服务器框架。thrift服务器框架是一种多语言的开发框架，支持C++、Java、C#、python、...还有一些我没有听说过的开发语言，听起来一个很牛很强大的框架。网上说hadoop 1.2.1的版本是提供thrfit的服务的。我在hadoop的配置文件中确实找了, 有thrift 的定义文件。运行脚本thrfit hado
转载
2024-06-28 00:50:54
53阅读
Hadoop项目云盘项目一个云盘存储系统，将文件存入Hadoop中或者将Hadoop中的文件取出到本地。架构图技术点nginx：反向代理，负载均衡，动静分离；redis：利用redisson来对上传文件进行布隆过滤（已上传的文件无需再次上传）；进行session会话管理；HDFSAPI操作（项目功能）：创建文件夹，上传文件，下载文件，删除文件，查找某些类型的文件，复制文件，移动文件，重命名文件。f
转载
2023-09-22 13:20:47
308阅读
点赞
## 如何实现Hadoop网盘
### 整体流程
首先，我们来看一下实现Hadoop网盘的整体流程，可以用以下表格展示步骤：
| 步骤 | 操作 |
| --- | --- |
| 1 | 搭建Hadoop集群 |
| 2 | 编写上传文件的接口 |
| 3 | 编写下载文件的接口 |
| 4 | 编写文件管理的接口 |
接下来，我们将详细介绍每一步需要做什么，以及所需使用的代码及其注释。
原创
2024-03-16 04:42:38
20阅读
文章目录一、功能需求二、开发环境三、系统测试1、登录2、注册3、 下载文件或文件夹（1）、下载的如果是文件的话，会下载到浏览器里面(2)、如果是文件夹的话，会下载到桌面（当然，这个路径你可以在代码中进行修改）4、上传文件5、剪切文件6、删除文件7、创建目录四、安装工具1、安装mysql2、安装mysql可视化工具3、测试mysql是否安装成功4、mysql workbench连接数据库5、创建表
转载
2023-09-20 03:52:02
267阅读
1评论
本来想写一个分布式文件系统，类似Hadoop，以此来增加Hadoop的认识，但是奈何技术受限，所以先写一个一对一的文件传输系统。一、设计方向设计一个简单的网盘，服务器一台，客户端若干。实现简单地文件传输。二、设计思路运用serversocket与socket网络编程作为底层来实现框架。运用Java的I/O实现文件传输的一系列问题。运用配置文件properties来实现统一的参数管理。三、系统文件版
转载
2024-01-03 23:16:30
169阅读
一、hadoop生态系统特点 开源、社区活跃、涉及分布式存储和计算的整个生态系统、已得到企业界验证。 hadoop1.0与2.0版本的比较： 1.0包含HDFS+MapReduce。 &
转载
2023-07-30 12:23:57
85阅读
基于Hadoop1.0.4的分布式云网盘
基于Hadoop1.0.4的分布式云网盘是一款基于Hadoop平台的简易分布式网盘，整个架构由一个服务器节点（Master）以及若干数据节点（Slave/DataNode）组成小型云集群，具有低成本，高可扩展性等优势，能基本满足一个实验室的使用需求。 主要实现技术：Struct2.0+Servlet+Log4j+HDFS API,在Master主
1、上传包：如图所示 2、修改yum源：[root@ATM yum.repos.d ]# vi dvd.repo3、建立dvd1文件夹和挂载：[root@ATM yum.repos.d ]# mkdir /opt/dvd1[root@ATM yum.repos.d ]# mount /dev/sr0 /opt/dvd14
转载
2023-07-21 15:50:06
186阅读
网盘是由rest api来实现的，很多不熟悉，所以这里借用Java api来伪实现以下，只要换成api就可以了。REST可参考：
hadoop、openstack web编程必读：什么是REST----RESTful架构起源及讲解
1.网盘如何与Javaweb相结合
作为云技术爱好者，我们都知道网盘。当然如果非云技术爱好者，也都知道网盘：百度网盘，360网盘等。
有一点不同的是，我们在
转载
2024-01-19 23:32:18
42阅读
Azu Cloud欢迎使用Azu Cloud云盘 V1.0新的改变如何使用注册教程左上角图标（登录后）如何上传文件如何分享？分享链接如何使用？口令如何使用？图像 视频 音频等如何在线查看开发者专区源码下载链接部署教程安装依赖修改数据库配置迁移数据库导入数据创建管理账户管理后台入口运行建议反馈通过网站通过频道 欢迎使用Azu Cloud云盘 V1.0你好！ 这是你第一次使用 Azu Cloud云盘
转载
2024-01-11 10:37:56
231阅读
网络硬盘（简称网盘），是一种可以用户基于互联网登录网站的进行信息数据上传、下载、共享等操作的信息数据存储空间。也称为：网络磁盘、网络空间、网络U盘、网络优盘等等。免费的网络硬盘的可用空间较少，一般对文件大小、下载速度、存放时间等限制；付费的网盘能提供大容量空间，文件大小、下载速度、存放时间及格式都不限制；另外某些论坛以合作方式与网盘商加盟，亦能获得VIP功能。电子邮箱所提供的附件功能是最早的网络硬
转载
2023-12-19 16:12:40
44阅读
前提：熟悉Linux系统操作，掌握基本的Linux命令注意：安装路径中不能有任何中文字符和空格！我安装的是ubuntu14，用户名是ubuntu，机器名是ubuntu，hadoop的版本是hadoop-2.7.1.tar.gz一、在Ubuntu下创建hadoop用户组和用户1、 将hadoop用户添加到系统用户ubuntu@ubuntu:~$ sudo addgroup hadoop
转载
2024-01-26 10:11:28
129阅读
## Hadoop 网盘搭建教程
在大数据时代，数据存储和管理变得越来越重要。Hadoop 是一个开源的分布式存储和计算框架，可以帮助我们构建一个高可靠、高可扩展的网盘系统。本文将介绍如何使用 Hadoop 搭建一个简单的网盘系统，并提供相应的代码示例。
### 环境准备
在开始搭建网盘系统之前，需要准备以下环境：
- Java JDK
- Hadoop
- Maven
### 创建 M
原创
2024-05-16 06:53:49
245阅读
首先Hadoop的搭建有三种方式，单机版适合开发调试;伪分布式版，适合模拟集群学习;完全分布式，生产使用的模式。这篇文件介绍如何搭建完全分布式的hadoop集群，一个主节点，三个数据节点为例来讲解。基础环境环境准备1、软件版本四台服务器配置，系统：centos6.5、内存：1G（视自己配置而定）、硬盘：20G（视自己配置而定）四台服务器分配的IP地址：192.168.10.131
192.168.
转载
2024-08-02 12:04:48
33阅读
一、前言在gitee和github里面基本上找不到一款好用、功能完善、且开放源码的网盘系统，有一些可以免费试用但是只提供安装包，于是在利用业务时间开发了一套轻量级且易于上手的网盘系统，主要基于目前主流的前后端分离和微服务架构模式开发，里面涉及很多的解决方案，适合没有项目经验的同学学习。网盘系统的核心目的有两个：提供客户端给业务系统集成，统一管理业务系统的文件；提供在线协调办公、管理个人文件的功能。
转载
2023-09-30 13:52:43
312阅读
开源项目推荐-私人网盘系统项目许多程序员都想搭建一个个人网盘，今天就和大家推荐一个备受欢迎的开源云盘系统——Cloudreve。目前，Cloudreve目前在Github上累计标星 10.8K，累计分支 1.9K。Cloudreve是个公有网盘程序，你可以用它快速搭建起自己的网盘服务，公有云/私有云都可。Cloudreve底层支持 本机存储、从机存储、阿里云OSS、又拍云、腾讯云COS、七牛云存储
转载
2023-12-18 21:07:05
43阅读
之前活动的时候搞了一台aliyun ecs centos7 1核1G的，闲着也是闲着 搭建一下云盘下面开始操作： 1、下载压缩包cloudreve_3.4.2_linux_amd64.tar.gz 地址：https://github.com/cloudreve/Cloudreve/releases2、扔到ecs上 /usr/local3、敲命令如下# 解压程序包
转载
2023-07-16 23:23:11
182阅读
第2篇终于从老师那得到了一些思路，不至于像无头苍蝇一样漫无目的。第一步：搭建开发环境万事开头难，搭建开发环境尤甚，搭建环境用了我们一周的时间，才勉强将它搭好。1.安装Ubuntu由于Hadoop带有用Java语言编写的框架，适合运行在Linux平台上，本来是准备在win7上配置unix环境的，但最后还是决定装一个linux系统，一来感觉比较稳定，二来也是想尝试一下linux系统，我们几个人都没有用
转载
2024-05-29 10:23:28
93阅读
百度在AI新基建领域的投入持续加码。8月20日，ABC SUMMIT 2020百度智能云智能计算峰会举行，大会以“新基建 新计算 新动能”为主题。百度CTO王海峰、百度集团副总裁侯震宇、百度智能云副总经理谢广军等登台演讲AI新基建大潮下的产业智能化新趋势，在业内首次提出各行各业应用进入AI-native阶段。大会还重磅发布了自主研发的新一代云基础架构百度“太行”，以及六大新产品并升级四大应用平台，
WIN10环境下配置 hadoop + spark 并运行开发实例的教程前期准备基本环境配置虚拟机的安装配置虚拟机中的静态网络关闭并禁用防火墙配置主机名编辑host文件使用ssh传输文件SSH免密配置解压文件配置文件配置JDK配置hadoop中的文件配置scala、spark和hadoop环境变量（s1和s2也要）格式化hadoop（在master上进行）启动hadoop&spark启动
转载
2023-11-29 11:14:51
57阅读
