最近想看一下hadoop ，万事开头难所以先从环境搭建入手但是网上的帖子都是针对hadoop 0.x版本的，对于我这样的小白起了一些误导作用折腾了半天终于看到小象，遂作此记录。准备环境：linux 系统（本次使用centos 6.0）Java开发环境（采用jdk6）opensshhadoop 2.0.3大家可以从官方下载，我提供网盘下载jdk、hadoop：http://pan.baidu.com
目录1.前言2.HDFS2.1.指令操作2.2.JAVA API3.HBase3.1.指令操作3.2.JAVA API1.前言本文是作者大数据专栏系列的其中一篇，前文中已经详细聊过分布式文件系统HDFS和分布式数据库HBase了，本文将会是它们的实操讲解。2.HDFS2.1.指令操作创建目录：hdfs dfs -mkdir /user/mydir递归创建目录：hdfs dfs -mkdir -p
# HDFS Docker单机部署教程
## 1. 流程图
```mermaid
sequenceDiagram
participant 小白
participant 开发者
小白->>开发者: 请求帮助
开发者->>小白: 提供HDFS Docker单机部署教程
```
## 2. 教程步骤
| 步骤 | 描述 |
| --- | --
原创
2023-09-30 09:32:49
553阅读
首先安装jenkins不多说，网上教程到处都是。下面记录下过程中我遇到的问题。1禁用Jenkins的日志保存Jenkins的日志文件非常大，不禁用的话，服务器磁盘很快就会满。在jenkins的设置面板 设置 -》 系统日志 -》日志级别 -》配置级别添加一条日志配置 javax.jmdns off ，重启jenkin
转载
2024-04-15 13:32:37
14阅读
# CentOS MySQL 单机部署教程
## 概述
在本教程中，我将向你介绍如何在 CentOS 操作系统上部署 MySQL 单机实例。MySQL 是一个广泛使用的关系型数据库管理系统，适用于各种规模的应用程序。
## 流程
下面是部署 MySQL 的整个流程的简化版本，你可以根据需要进行修改和调整：
```mermaid
flowchart TD
A[安装 CentOS 操
原创
2023-11-22 11:09:58
33阅读
1. 环境[root@localhost bin]# cat /etc/redhat-release
CentOS Linux release 7.5.1804 (Core)ip端口作用备注172.16.10.6680|3307mysq和nginx集群是需要数据库的；nginx是代理服务器172.16.10.678848172.16.10.688848172.16.10.698848nacos：
转载
2024-10-30 13:08:03
59阅读
Hadoop一、环境搭建VMware ,CentOS7,Ubuntu1、VMware Workstation 15 Pro安装图解教程详细见：https://www.shuzhiduo.com/A/Gkz1PGeQdR/2、VMware Workstation 15 Pro安装带图形化界面的CentOS7详细见：https://www.shuzhiduo.com/A/qVde08Gg5P/3、VM
# Hadoop单机部署在CentOS上的步骤
在大数据时代，Hadoop作为一个重要的分布式计算框架，被广泛应用于数据存储和处理。虽然Hadoop通常在集群环境中运行，但在本地单机环境部署Hadoop也有其独特的优势，例如便于学习和开发。本文将介绍如何在CentOS上进行Hadoop的单机部署，包括必要的环境准备、配置文件修改及启动Hadoop的步骤。
## 1. 环境准备
### 1.1
在本篇博文中，将详细介绍如何在CentOS环境中部署Apache Spark的单机版。实现这一目标需要经过多个步骤，包括环境准备、分步指南、配置详解、验证测试、优化技巧以及扩展应用等内容，以确保部署过程顺利且高效。
## 环境准备
要成功部署Spark，首先需了解所需的硬件和软件环境。以下是一些前置依赖的安装步骤：
1. **操作系统**: CentOS 7或以上版本
2. **Java**
一、zookeeper集群的搭建与配置1. 可以访问查看zookeeper官网: zookeeper.apache.org2. 下载zookeeper 3.3.6，下载地址：http://archive.apache.org/dist/zookeeper/zookeeper-3.3.6/zookeeper-3.3.6.tar.gz3. 上传到/usr/local/目录下，并解压，命令：tar -x
安装前需要先确认 rancher支持的 linux 版本 以及 docker 版本，我这里用的是centos8.0 ，另外需要放开的端口，具体参照rancher官方说明首先安装docker1 更新软件包和系统内核 (如无必要该步可以省略).yum update2 清空历史 (如无必要该步可以省略).sudo yum remove docker docker-client docker-client
文章目录一、环境二、运行zookeeper集群镜像三、配置环境变量四、修改配置文件（三台服务器同步操作）4.1 修改hadoop-env.sh文件4.2 修改core-site.xml文件4.3 修改yarn-site.xml文件4.4 修改mapred-site.xml文件4.5 修改hdfs-site.xml文件（master）4.6 修改hdfs-site.xml文件（slave1）4.7
Ceph操作1、准备机器CentOS7四台虚拟机(4C/4G/50G/50G)这个配置是我练习用的，生产请根据实际情况使用2、虚拟机分配如下主机名角色ipNATCephAdminceph-deploy+client192.168.3.189192.168.122.189ceph01mon+osd192.168.3.190192.168.122.190ceph02mon+osd192.168.3.1
本文讲的是Docker将会改变Hadoop，变的更快更容易，
【编者的话】 最近在San Jose，Clif开幕的hadoop峰会上会有关于Docker和Hadoop的话题讨论，越来越多的创业公司致力于使用Docker技术来简化hadoop应用开发部署的速度。目前有两个方向：1）使用Docker容纳Hadoop stack；2）通过YARN来部署基于Docker开发的容器化应用。
转载
2024-05-27 20:53:28
58阅读
Centos8 Ansible自动化部署安装简介 ansible是自动化运维工具，基于Python开发，集合了众多运维工具（puppet、cfengine、chef、func、fabric）的优点，实现了批量系统配置、批量程序部署、批量运行命令等功能。 Ansible是一个部署一群远程主机的工具;Ansible通过SSH协议实现远程节点和管理节点之间的通信。理论上说，只要管理员通过ssh登录到一台
转载
2024-06-14 22:46:06
50阅读
一、环境准备首先将服务器内部防火墙关闭，并关机开机启动，并关闭selinux，此处不在赘述。1.1安装wget和vim软件（个人习惯使用vim编辑文件）1yuminstall-ywgetvim1.2安装git1yuminstall-ygit安装结束后安全起见，确认是否满足官方要求的Git>=1.7.51gitversion图片.png1.3安装go语言环境（因为yum源中没有go的安装包，故
原创
2018-01-12 13:57:34
707阅读
系统环境：CentOS 7JDK版本：jdk-8u191-linux-x64MYSQL版本：5.7.26Hadoop版本：2.9.0Hive版本：2.3.4 Host NameIpUser/PassNamenode192.168.2.3root/root.Datanode1192.168.2.5root/root.Datanode2192.168.2.6root/root. &
安装Hadoop环境1）下载Hadoop安装包 访问http://hadoop.apache.org/releases.html官网，可以看到官网提供了很多版本提供下载。 为了方便，使用了个人云链接，可以使用wget安装$ wget https://pan.baidu.com/s/1yyFCpLUSpgWW97ZnE8VJGQ如果没有安装wget，可以通过$ yum -y install wget
环境：Win10（宿主机）+SecureCRT 7.3 +虚拟机（VMware workstation full 15.0.4）+CentOS 7工作目录： Linux系统下，/opt，这个目录一般是给主机额外安装软件（第三方软件）所摆放的目录，默认是空的。那么我的Hadoop相关就放这了。[root@master opt]# tree -L 1
.
└── bigdata
1 d
转载
2023-10-19 17:44:54
87阅读
下面我们来进行hadoop集群的安装与部署注：文章中的qipao请修改为自己的主机名或者ip地址1.1首先我们去官网下载hadoop下载好了，就是它1.2上传hadoop 下面我们用winSCP或者mobaxterm把hadoop传输到一台虚拟机上的/usr/local/目录下，用软件连接后，选到/usr/local/目录拖进去就可以了 ok，拖进来了1.3解压hadoop并配置环境变量 下面我
转载
2024-10-08 21:30:10
181阅读
