从今天开始，做一个云盘。不知道什么时候才可以完成任务。
原创
2013-11-22 20:12:28
587阅读
1.点击 Centos 7镜像 进行下载 2.安装成功后，利用克隆再克隆两个作为slave1和slave2进行搭建 3. 利用 ifconfig命令，获取三个虚拟机的IP地址：二、搭建集群配置主节点名（master) 在命令行中输入： vi /etc/sysconfig/network 添加一下内容：NETWORKING=yes
HOSTNAME=master配
转载
2023-09-21 22:48:33
166阅读
文章目录1 OwnCloud简介2 OwnCloud的安装3 将OwnCloud服务进行HTTPS加密 1 OwnCloud简介OwnCloud是一款开源的个人网盘软件，适用于自建服务器的云存储服务，一般为个人使用，具有文件同步、文件分享功能，并支持WebDAV以及在线流媒体播放。OwnCloud服务端的运行依赖LAMP环境，因此我们应当先将LAMP环境配置完善后再进行OwnCloud服务端
转载
2023-11-18 20:16:33
106阅读
Hadoop体系概述Hadoop是Apache组织的一个分布式框架，是Google的云计算平台的开源实现。主要由以下几个子项目构成：（1）Hadoop Common：原来的Hadoop Core，是Hadoop项目的计算核心，其他的子项目都是在这个核心的基础上发展的。（2）Avro：Hadoop的RPC（Remote Procedure Call ，远程过程调用）方案。（3）Chukwa：一个用来
转载
2023-07-09 12:14:33
124阅读
## Hadoop 网盘搭建教程
在大数据时代，数据存储和管理变得越来越重要。Hadoop 是一个开源的分布式存储和计算框架，可以帮助我们构建一个高可靠、高可扩展的网盘系统。本文将介绍如何使用 Hadoop 搭建一个简单的网盘系统，并提供相应的代码示例。
### 环境准备
在开始搭建网盘系统之前，需要准备以下环境：
- Java JDK
- Hadoop
- Maven
### 创建 M
原创
2024-05-16 06:53:49
248阅读
# Hadoop搭建网盘接口指南
## 导言
作为一名经验丰富的开发者，我将在本篇文章中教会你如何搭建一个基于Hadoop的网盘接口。在这个过程中，你将学习到Hadoop的基本概念、安装配置以及如何使用Hadoop构建一个简单的网盘接口。在开始之前，我们先来了解一下整个过程的流程。
## 流程图
```mermaid
flowchart TD
A[准备工作]
B[安装和配置Ha
原创
2023-09-12 15:41:11
68阅读
基于Hadoop1.0.4的分布式云网盘
基于Hadoop1.0.4的分布式云网盘是一款基于Hadoop平台的简易分布式网盘，整个架构由一个服务器节点（Master）以及若干数据节点（Slave/DataNode）组成小型云集群，具有低成本，高可扩展性等优势，能基本满足一个实验室的使用需求。 主要实现技术：Struct2.0+Servlet+Log4j+HDFS API,在Master主
文章目录前言一、虚拟机安装二、安装JDK和Hadoop1.基本信息配置2.安装JDK和Hadoop三、安装Zookeeper集群四、Hadoop集群的高可用配置五、Hadoop集群的正常启动顺序总结 前言Hadoop开发环境搭建为了防止以后每次搭建的时候查看太多教程而导致时间无端消耗，本次重装环境自行进行过程记录。一、虚拟机安装基于VMware平台安装centos8，主要就是下载镜像安装打开就行
转载
2023-07-11 13:06:23
120阅读
hadoop 和hive配合使用，可以极大的提高大数据的运算效率，公司在线上的服务器每天都会产生大量的log，技术人员需要对这些log进行分析，取得用户的telemetry等数据，使用传统的脚本来分析，需要耗费大量的时间，因此搭建了一个hadoop集群(10台机器)，并且使用hive配合，再辅助几个crontab脚本，这样每天上班之后，技术就可以拿到前一天的应用数据了，整个过程不需要人工干预，下面
原创
2013-05-30 16:56:52
940阅读
云计算的几大形式云计算服务类型
基础设施即服务（IaaS） - 提供硬件设备 ：例如 个人搭建网站不需要再去租服务器，买数据库，可在云平台上付费购买空间及相应服务。
eg. Google app engine ; Amazon Web Services (AWS) ; 阿里云；新浪云软件即服务（SaaS） - WebService ： 各系统之间可以相
转载
2023-08-11 13:22:58
120阅读
Hadoop集群的搭建主要分为两个部分,一个是HDFS集群(主要负责文件的存储),这里需要用到NameNode和DataNode两个部分,还有一个是Yarn(主要负责任务调度,即后面需要跑的Mapreduce),这里也是两个ResourceManager和NodeManager.下面是搭建的大致流程:  
转载
2024-04-02 09:09:31
124阅读
阿里云安装部署Oracle11g 在云计算时代是很方便的，可靠的IAAS，PAAS和SAAS平台可以帮助用户将已有或正在研发的项目迁移到云计算平台。环境准备：购买阿里云ECS服务器计费方式：可选包年包月，建议业务量较多的的，数据库要一直在线的，选包年包月。地域选择：和你的应用服务器，最好是在同一个可用区（访问速度最快），也可以同一地域，不同可用区，用于多机房部署的情况。CPU内存： 根据实际需要选
转载
2023-12-08 17:20:59
674阅读
阿里云环境下搭建HadoopHA集群1. HadoopHA介绍1.1 hadoop高可用集群的简介 hadoop是一个海量数据存储和计算的平台，能够存储PB级以上的数据，并且利用MapReduce可以对这些数据进行并发式计算；hadoop平台采用的是主从式架构（master/slave）即一个master和若干个slave，这个master就是namenode节点，该节点负责存储和管理元数据、配置
转载
2024-05-20 21:55:14
33阅读
摘要：云计算是分布式计算,并行计算和网格计算的发展,给人类生活,生产方式和商业模式带来根本性改变,是当前全社会的热点之一.云存储是从云计算概念上延伸发展出来的一个新的概念,它是指通过集群应用,网格技术或分布式文件系统等功能,将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作,共同对外提供数据存储和业务访问功能的一个系统.随着云计算技术与云存储技术的广泛应用,其存在的安全问题不断突显
转载
2024-05-27 19:23:02
26阅读
*0.前言*
CDH搭建方式是使用Cloudera Manager进行一键式搭建hadoop集群，Cloudera Manager里面集成了hadoop组件的管理功能，并且提供了hadoop组件的静态资源parcel，可以实现一键安装、配置，统一管理。非常节省时间。 不推荐初学者学习CDH方式搭建，初学者建议以apache传统方式搭建，方便学习hadoop组件的工作原理。*1.前置操作*
准备了四
转载
2023-07-13 11:38:06
206阅读
装yum-utilsyum install -y
转载
2023-02-23 09:29:01
320阅读
nextcloud是从owncloud独立出去的开源私有云盘 供应商 团队资料没地方存！ 文件传输既耗时又麻烦! 放在云盘，又担心数据泄露！ 那就花3分钟搭建你的私有网盘吧！ NextCloud 是国外一个开源的云盘应用，用户可以免费下载安装在服务器等终端，随时管理自己的数据。（个人、创业团队均可免 ...
转载
2021-10-14 11:33:00
732阅读
2评论
@[TOC]1、前言自云存储概念兴起已经有段时间了，各互联网大厂也纷纷加入战局，一时间公有云盘遍地开花。但一段时间后，公有云盘潜在的安全问题也暴露出来，原有的共有云盘用户纷纷转为搭建私有云盘，也带动了群晖等一众私有云盘供应商的发展。可群晖硬件动辄数千，让个人消费者难以招架，是否能将个人电脑改造为私有云盘呢？答案自然是肯定的，今天我们就为大家介绍，如何使用Cpolar与Cloudreve，在个人Wi
原创
2023-09-12 13:06:44
481阅读
hadoop集群环境的搭建
集群信息如下： 主机名 Hadoop角色 Hadoop jps命令结果 Hadoop用户 Hadoop安装目录 master Master slaves NameNode DataNode JobTracker TaskTracker SecondaryNameNode 创建相同的用户的组名：hadoop。 安装hadoop-0.20.2时使用hadoop用
转载
2023-09-26 15:52:29
61阅读
