实验一：熟悉常用的Linux操作和Hadoop操作一、实验目的Hadoop运行在Linux系统上，因此，需要学习实践一些常用的Linux命令。本实验旨在熟悉常用的Linux操作和Hadoop操作，为顺利开展后续其他实验奠定基础。二、实验平台 操作系统：Linux（建议Ubuntu16.04）； Hadoop版本：2.7.1。三、实验步骤（一）熟悉常用的Linux操作 cd命令：切换目录（1）
1. HDFS 2.0 基本概念 相比于 Hadoop 1.0,Hadoop 2.0 中
原创
2023-07-26 10:34:38
160阅读
## 使用Docker Desktop 部署 HDFS
在本文中，我们将介绍如何使用 Docker Desktop 来快速部署 Hadoop 分布式文件系统（HDFS）。HDFS 是 Hadoop 生态系统中的一部分，用于存储大规模数据集。通过使用 Docker Desktop，我们可以在本地快速创建一个 HDFS 环境，方便开发和测试。
### 步骤一：安装 Docker Desktop
原创
2024-04-17 06:40:29
139阅读
Centos 7 上配置 HDFS（单机版） 一、配置Java环境二、配置Hadoop前提是配置好java 环境；1、配置ssh免密登录（1）ssh-keygen一直回车（2）将生成的密钥发送到本机地址ssh-copy-id localhost（注意：若报错找不到命令则需要安装openssh-clients执行：yum -y install openssh-clients 即可）（3）测试免登录是
转载
2024-03-27 23:18:28
258阅读
目录一、Docker file1.1 docker原理1.2 docker file执行流程1.3 docker file注意事项二、docker build三、Docker File体系结构四、容器间传递共享一、Docker file如果你想要从一个基础镜像开始建立一个自定义镜像，可以选择一步一步进行构建，也可以选择写一个配置文件，然后一条命令（docker build）完成构建，显然配置文件的
转载
2023-08-17 14:44:25
96阅读
HDFS的安装和部署1.准备工作准备3台机器，设置好hosts一台作为Namenode，cc-staging-session2命名为master，两台作为dataNode，cc-staging-front命名为slave1, cc-staging-imcenter 命名为slave2#3台机器都创建hadoop用户useradd hadooppasswd hadoop# 安装JDK，并设置JAVA
原创
2013-06-27 10:42:53
10000+阅读
点赞
大数据笔记：HDFS环境搭建标签： 大数据 大数据笔记：HDFS环境搭建Prerequisites安装jdk7安装ssh安装伪分布式HDFS下载更改配置启动hdfs停止hdfs 环境： CentOS6.4 Hadoop 2.6.0 -cdh5.7.0Prerequisites首先我们进入到官方网址http://archive-primary.cloudera.com/cdh5/cdh/5/ha
转载
2024-08-02 12:01:28
95阅读
1.基础环境准备1.1创建一个新的虚拟机1.2安装虚拟机，设置ROOT密码并创建用户名为cdh的用户。 1.3修改配置文件 1.4测试是否可以联网 1.5安装常用命令 1.6关闭防火墙 1.7复制两台虚拟机并修改名称 1.8生成MAC地址并记录此地址之后取消 1.9启动第二台虚拟机 1.10修改配置文件，修改以下三处内容（MAC地址为之前记录的）。 1.11修改MAC地址与配置文件中一致 1.12
转载
2024-04-24 11:29:42
208阅读
一、准备工作下载 jdk下载 Hadoop二、安装JDK、Hadoop及配置环境变量安装JDK进入 /usr/lib/java-1.8.0，把压缩包jdk-8u144-linux-x64.tar.gz移动到该目录，并解压cd /usr/lib/java-1.8.0
tar zxf ./jdk-8u144-linux-x64.tar.gz安装Hadoop进入 /opt/hadoop目录，把压缩包h
转载
2024-04-27 19:50:57
57阅读
核心要点：对外提供一个统一的“虚拟”目录树文件分块存储在多台服务器（datanode）上文件的物理存储位置信息存储在一台主节点（namenode）上 1. 安装HDFS安装HDFS，就是准备大量linux服务器，安装hadoop软件，然后在不同的机器上启动不同的程序（namenode，datanode，客户端） 准备4台：1台namenode3台datanode 安装
转载
2023-10-31 20:07:54
52阅读
HDFS存放副本时会优先在同一个数据节点备份一份，然后在不同的虚拟机架上备份namenode的HA是靠主备方式保证的，自动切换时要用到zookeeper，手动切换可以通过命令，备节点可以在数据节点上，一套HDFS-HA最少需要3台机子安装步骤：#yum install java#wget http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-
原创
2015-08-20 16:11:13
715阅读
一、前言任务调度管理作为基础架构通常会出现于我们的业务系统中，目的是让各种任务能够按计划有序执行。比如定时给用户发送邮件、将数据表中的数据同步到另一个数据表都是一个任务，这些相对耗时的操作通过任务调度系统来异步并行执行，既能提高任务的执行效率又能保障任务执行的可靠性。实现的方式也是多种多样，比如使用Timer进行简单调度或者使用Quartz类似的框架，本文基于淘宝开源框架TbSchedule实
1、进入woke目录下:cd /usr/local/work
（如没有则自己新建，命令：mkdir /usr/local/woke）
2、在woke目录下从网站下载apache并解压：
wget http://dev.xiaonei.com/apache-mirror/httpd/httpd-2.0.63.tar.gz
解压：tar zxvf httpd-2.0.63.tar.gz
转载
2024-05-06 15:20:16
174阅读
linux安装部署环境（jdk,nacos,nginx,mysql,redis）文章目录linux安装部署环境（jdk,nacos,nginx,mysql,redis）@[TOC](文章目录)一、安装jdk第一步：下载jdk架包第二步：解压安装包第三步：修改环境变量第四步：测试是否安装成功二、安装nacos第一步：下载naocs第二步：解压nacos第三步：启动nacos第四步：单机版nacos开
转载
2024-03-22 12:30:07
106阅读
gcdw安装部署及HDFS相关配置配置资源限制1、编辑 /etc/security/limits.confgbase soft sugpending unlimited
gbase hard sugpending unlimited
gbase soft nproc unlimited
gbase hard nproc unlimited2、将文件推行送到集群各节点cpush all: /etc/
实验内容： 使用HDFS命令上传和下载文件； 编写JAVA程序读写、删除文件； 实验步骤：1.安装JDK→2.安装Eclipse→3.安装Maven→4. Eclipse里配置Maven （下载Windows版本，在Windows里安装使用）1.安装配置JDK ①官网下载Java开发工具安装包jdk-8u201-windows-x64.exe：https://www.oracle.com/tech
转载
2024-07-23 11:02:16
78阅读
Red Hat Enterprise Linux（RHEL）是由美国红帽公司（Red Hat Inc.）开发的企业级操作系统，它基于Linux内核并专注于安全、可靠性和高性能。在企业级应用程序开发和部署中，RHEL是广泛使用的操作系统之一。本文将重点讨论RHEL的安装部署。
RHEL的安装部署是一个重要的过程，它直接影响到系统的稳定性和性能。在RHEL的安装部署过程中，需要考虑以下几个关键步骤：
原创
2024-02-20 10:04:23
12阅读
一、在Oracle官网下载需要安装的jdk版本可以下载.tar.gz格式的压缩包，也可以下载.rpm格式的rpm包。二、安装步骤1.解压安装的方式(.tar.gz文件)(1)cd /usr/local命令进入/usr/local文件夹下 (2)mkdir jdk命令在/usr/local路径下创建一个jdk文件夹，用来将jdk安装到此文件夹下 (3)cd jdk命令进入jdk目录下 (4)将.ta
转载
2024-04-03 10:18:14
42阅读
因为在RPM安装过程中经常需要解决依赖关系，而有些依赖关系并不会有准确的依赖安装包提示信息，YUM是RPM包
原创
2024-05-16 12:31:15
71阅读
Linux是一种开源操作系统，而Red Hat是Linux发行版中最流行和广泛使用的之一。Red Hat Linux是由Red Hat公司开发的，旨在为企业用户提供稳定、安全和高性能的操作系统。在本文中，将讨论Linux的安装部署过程，并介绍一些关键步骤和注意事项。
Linux的安装部署是一个相对简单的过程，但对于新手用户来说可能稍微有些复杂。下面将介绍一些建议和步骤，以帮助您成功安装和部署Li
原创
2024-02-02 11:58:41
101阅读
