1.hadoop本地部署 1.建立hadoop用户，并且设置密码[root@server5 ~]# useradd -u 1000 hadoop
[root@server5 ~]# passwd hadoop2.以hadoop用户使用hadoop与java的压缩包[root@server5 ~]# ls
hadoop-3.0.3.tar.gz jdk-8u181-linux-x64.tar.gz
转载
2024-03-19 16:47:08
24阅读
一、前言任务调度管理作为基础架构通常会出现于我们的业务系统中，目的是让各种任务能够按计划有序执行。比如定时给用户发送邮件、将数据表中的数据同步到另一个数据表都是一个任务，这些相对耗时的操作通过任务调度系统来异步并行执行，既能提高任务的执行效率又能保障任务执行的可靠性。实现的方式也是多种多样，比如使用Timer进行简单调度或者使用Quartz类似的框架，本文基于淘宝开源框架TbSchedule实
HDFS存放副本时会优先在同一个数据节点备份一份，然后在不同的虚拟机架上备份namenode的HA是靠主备方式保证的，自动切换时要用到zookeeper，手动切换可以通过命令，备节点可以在数据节点上，一套HDFS-HA最少需要3台机子安装步骤：#yum install java#wget http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-
原创
2015-08-20 16:11:13
715阅读
实验内容： 使用HDFS命令上传和下载文件； 编写JAVA程序读写、删除文件； 实验步骤：1.安装JDK→2.安装Eclipse→3.安装Maven→4. Eclipse里配置Maven （下载Windows版本，在Windows里安装使用）1.安装配置JDK ①官网下载Java开发工具安装包jdk-8u201-windows-x64.exe：https://www.oracle.com/tech
转载
2024-07-23 11:02:16
78阅读
在这篇博文中，我们将深入探讨如何在Docker中部署HDFS（Hadoop分布式文件系统）。HDFS作为一个用于大数据存储与管理的核心组件，能够有效地处理海量数据，而Docker则为我们提供了一个轻量级的容器化解决方案，能让我们快速地进行环境搭建和应用部署。
### 环境准备
首先，我们需要确保我们的开发环境是准备好的。这包括安装必要的前置依赖，包括Docker和Docker Compose。
Hadoop 02 核心介绍1. HDFSHDFS（Hadoop Distributed File System） 是一个 Apache Software Foundation 项目, 是 Apache Hadoop 项目的一个子项目. Hadoop 非常适于存储大型数据 (比如 TB 和 PB), 其就是使用 HDFS 作为存储系统. HDFS 使用多台计算机存储文件, 并且提供统一的访问接口,
转载
2024-09-05 18:12:24
55阅读
Kubernetes (K8s) 是一个用于自动部署，扩展和管理容器化应用程序的开源平台。本文将介绍如何使用Kubernetes部署Hadoop分布式文件系统（HDFS）。
### 一、部署Kubernetes集群
在使用Kubernetes部署HDFS之前，我们首先需要拥有一个可用的Kubernetes集群。如果还没有搭建Kubernetes集群，可以参考以下步骤进行搭建：
| 步骤 |
原创
2024-01-18 14:36:18
102阅读
# Docker 部署 HDFS
## 简介
本文将介绍如何使用 Docker 部署 HDFS（Hadoop Distributed File System），帮助刚入行的开发者快速上手。
## 流程概览
下面的表格展示了部署 HDFS 的整个流程。
| 步骤 | 描述 |
| ------- | -------------- |
| 步骤一 | 安装 Docker |
| 步骤二 | 拉取
原创
2024-01-15 08:39:40
382阅读
引言最近由于科研的需要，从零开始搭建hadoop集群，包括单独的zookeeper以及hbase。对于linux、hadoop等相关的基础知识掌握比较少，所以这一系列的分享适用于各种小白，想体验hadoop集群的。同时，提出一些在搭建集群的过程中遇到的问题+解决方法。主要是针对真正的集群搭建过程，也就是Distributed。本篇主要介绍前期工作及常见问题，也算是对我最近几天的摸索进行一个总结。一
背景HDFS有两个主要层:Namespace命名空间由目录、文件和块组成它支持所有与命名空间相关的文件系统操作，如创建、删除、修改和列出文件和目录Block管理服务块管理(在 Namenode 中完成)
通过处理注册和周期性心跳提供数据阳极群集成员资格处理块报告并维护块的位置支持块相关操作，如创建，删除，修改和获取块位置管理复制块的副本放置和复制，并删除复制过多的块存储-是由数据节点通过存储块在本
一.YUM概述 YUM（Yellow dog Updater Modified） 基于RPM包构建的软件更新机制 可以自动解决依赖关系 所有软件由集中的YUM软件仓库提供 主备安装源 软件仓库的提供方式 FTP服务： ftp：//.... HTTP服务： http：//..... 本地目录: fil ...
转载
2021-07-19 10:53:00
204阅读
2评论
在Linux环境中，使用`yum`包管理器部署Python是一个常见且效率高的做法。本文将详细介绍如何在CentOS或Red Hat等支持`yum`的系统上安装Python的过程，并涵盖从环境准备到多场景适配的每一个步骤。
## 环境准备
在执行`yum`命令之前，我们需要确认系统的基本配置和依赖项已正确安装。
**前置依赖安装**：
我们需要确保系统中安装了`yum-utils`和`epe
# 如何部署Redis使用Yum
## 1. 流程
首先，我们来看一下整个部署Redis使用Yum的流程：
| 步骤 | 操作 |
| ---- | ---- |
| 1 | 安装EPEL仓库 |
| 2 | 安装Redis |
| 3 | 启动Redis服务 |
| 4 | 设置Redis开机启动 |
## 2. 操作步骤
### 步骤1：安装EPEL仓库
首先，我们需要安装EPEL
原创
2024-04-13 06:31:47
18阅读
一：搭建原理图 项目要求 两台web服务器（基于IP的虚拟主机），共享关系型数据库，共享NFS服务器，利用DNS记录轮询提供负载均衡 二：搭建web服务器 本次WEB服务器采用编译安装服务，编译过程请参考LAMP平台编辑。接下来配置WEB服务器主配置文件. vim /e
转载
2024-10-30 10:35:12
23阅读
### 1、下载gitlab rpm包安装 清华yum源官网 https://mirrors.tuna.tsinghua.edu.cn 直接从官网上下载 wget https://mirrors.tuna.tsinghua.edu.cn/gitlab-ce/yum/el7/gitlab-ce-12. ...
转载
2021-07-21 15:45:00
190阅读
2评论
一、YUMYUM(YellowdogUpdaterModified)基于RPM包构建的软件更新机制可以自动解决依赖关系所有软件包由集中的YUM软件仓库提供软件仓库的提供方式FTP服务:ftp://…HTTP服务:http://…本地目录:file://…RPM软件包的来源CentOS发布的RPM包集合第三方组织发布的RPM包集合用户自定义的RPM包集合在软件仓库中加入非官方RPM包组包括存在依赖关
原创
2021-12-05 22:59:10
156阅读
点赞
部署yum仓库一.YUM概述YUM（YellowdogUpdaterModified）基于RPM包构建的软件更新机制可以自动解决依赖关系所有软件由集中的YUM软件仓库提供主备安装源软件仓库的提供方式FTP服务：ftp：//....HTTP服务：http：//.....本地目录:file：//....RPM软件包的来源CentOS发布的RPM包集合第三方组织发布的RPM包集合用户自定义的RPM包集合
原创
2021-12-12 14:05:38
181阅读
操作系统：RHEL/CentOS实战任务：yum部署nginx
原创
2020-05-19 15:33:11
577阅读
点赞
## Yum部署MySQL
MySQL是一个开源的关系型数据库管理系统，广泛应用于各类应用程序和网站。在Linux系统中，使用Yum包管理器可以方便地进行MySQL的安装和部署。本文将介绍如何通过Yum来部署MySQL，并提供相应的代码示例。
### 1. 安装MySQL Yum Repository
在使用Yum安装MySQL之前，需要先安装MySQL Yum Repository。MyS
原创
2023-09-22 18:27:04
67阅读
一、redis介绍1、redis简介 REmote DIctionary Server（Redis）是一个基于key-value键值对的持久化数据库存储系统。redis和memcached缓存服务很像，但是redis支持的数据存储类型更丰富，包括string（字符串）、list（链表）、set（集合）和zset（有序集合）等；
