Ubuntu、centos7、6集群搭建： 一、准备阶段1. 1、创建用户
# useradd -m hadoop -s /bin/bash
-m：自动建立用户的登入目录；
-s：指定用户登入后所使用的shell； /bin/bash/ 作为shell
shell只是用户与系统沟通的接口，各种不同的s
转载
2024-10-12 12:05:51
158阅读
1下载hive2安装2.1上载和解压缩2.2配置环境变量2.3对hive进行配置2.3.1 hive-site.xml相关的配置2.3.1.1新建hive-site.xml文件2.3.1.2使用hadoop新建hdfs目录2.3.1.3检查hdfs目录是否创建成功2.3.1.4修改hive-site.xml中的临时目录2.3.1.5修改hive-site.xml数据库相关的配置2.3.1.6将My
转载
2023-09-14 08:31:54
0阅读
# Linux 单机版Hadoop
Hadoop是一个用于分布式存储和处理大数据的开源框架，可以运行在各种操作系统上，包括Linux。在本文中，我们将介绍如何在Linux系统上搭建单机版的Hadoop环境，并演示一些简单的代码示例。
## 安装Hadoop
首先，我们需要下载和安装Hadoop。可以从Hadoop的官方网站上下载最新版本的Hadoop压缩包，并解压到指定目录中。
```ba
原创
2024-05-29 03:23:51
22阅读
下载hadoop-2.7.7.tar.gz配置ssh无密码登录# 测试ssh localhost, 默认需要密码[root@node1 hadoop]# ssh localhostThe authenticity of host 'localhost (::1)' can't be established.ECDSA key fingerprint is SHA256:Ii9RadytomW4X2LEvMQwRxoOTeGgxfNbOgwXrc/wwZI.ECDSA key fingerp
原创
2021-06-04 19:09:07
930阅读
准备工作 Hadoop环境搭建： 1.主机名 2.防火墙关闭 3.免密登录 （ssh-keygen 按4个回车后 ssh-copy-id root@虚拟机主机ip） 4.Jdk（具体安装步骤可以看上一篇文章）正式搭建步骤 开启虚拟机，进入hadoop目录下 1、vim hadoop-env.sh 1.1、Line 25: 修改JAVA_HOME=jdk的安装目录 2.2、Li
创建用户名hadoop 提高hadoop权限，输入vim /etc/sudoers 添加hadoop ALL=(root) NOPASSWD:ALL 使用sudo可以不用输入密码查看hadoop账号 设置网络输入sudo vi /etc/sysconfig/network-scripts/ifcfg-ens33 修改文件 BOOTPROTO=dhcp 为动态分配的ip 修改结果如下图//永久性的修
文章目录docker-compose启动方式(docker run方式懒得写了 自己去钻研)这里先奉上docker hub仓库 地址 [docker hub地址超链接]( https://hub.docker.com/r/yujiangxian/hadoop-ha-zk)先配置docker-compose.yml文件(端口配置自己看)接下来不用多说,老规矩,进入命令行docker-compose
# Linux安装Hadoop单机版
## 简介
Hadoop是一个开源的分布式计算框架，用于解决大规模数据的存储和处理问题。在Linux环境下安装Hadoop单机版，可以帮助我们学习和使用Hadoop的基本功能和特性。本文将介绍如何在Linux上安装Hadoop单机版，并提供相应的代码示例。
## 环境准备
在开始安装Hadoop之前，我们需要准备一个Linux环境。本文以Ubuntu为
原创
2023-12-25 03:47:23
84阅读
注意：本人是阿里云的机器，系统是centOS 8 ，已经提前安装docker。一、首先安装hadoop镜像 1、 在docker中查找hadoop 镜像docker search hadoop2、 选择star数量最多的镜像拉取就可以docker run --name hadoop1 -d -h master docker.io/sequenceiq/hadoop-d
转载
2023-07-28 00:25:08
346阅读
如何实现Hadoop单机版
Hadoop是一个用于处理大规模数据的开源框架，它提供了分布式存储和分布式处理能力。在学习Hadoop之前，我们可以先尝试在单机上搭建一个Hadoop的环境，这有助于我们更好地理解Hadoop的工作原理和基本概念。接下来，我将向你介绍如何在单机上搭建Hadoop的环境。
整个过程可以分为以下几个步骤：
1. 安装Java环境
2. 下载Hadoop
3. 配置Ha
原创
2024-01-20 08:05:09
58阅读
游戏：三张牌(理论分析+py3模拟)序言: 本文将全面剖析一款民间风靡游戏，三张牌。0. 规则 游戏使用一副除去大小司令的扑克牌，即 A, 2, 3, 4, 5 ,6, 7, 8, 9, 10, J, Q, K，共计 13 种牌型，每种牌型 4 种花色，总计 52 张牌。比牌规则为单牌，A > K > Q > … > 2牌型, 豹子 > 顺金 > 金花 >
# 如何部署单机版Redis
## 一、流程概览
下面是部署单机版Redis的步骤概览：
```mermaid
erDiagram
|步骤1: 安装Redis|
|步骤2: 配置Redis|
|步骤3: 启动Redis|
```
## 二、详细步骤
### 步骤1: 安装Redis
在Linux系统上安装Redis，可以通过以下命令：
```bash
原创
2024-04-12 07:36:33
51阅读
部署zookeeper
官网下载zookeeper二进制包
wget https://dlcdn.apache.org/zookeeper/zookeeper-3.8.2/apache-zookeeper-3.8.2-bin.tar.gz
解压
tar zxvf apache-zookeeper-3.8.2-bin.tar.gz
修改配置文件
cd apache-zookeeper-3.8.2
原创
2023-08-12 13:45:31
693阅读
Hadoop，分布式的大数据存储和计算, 免费开源！
有Linux基础的同学安装起来比较顺风顺水，写几个配置文件就可以启动了，本人菜鸟，所以写的比较详细。
为了方便，本人使用三台的虚拟机系统是Ubuntu-12。
设置虚拟机的网络连接使用桥接方式，这样在一个局域网方便调试。
单机和集群安装相差不多，先说单机然后补充集群的几点配置。
第一步，先安装工具软件
转载
2023-08-17 19:15:56
138阅读
其实，Hadoop-0.20.0与Hadoop-0.19.0的入门运行非常相似，基本步骤都是相同的。不同的是：Hadoop-0.19.0的配置文件hadoop-site.xml中内容，在Hadoop-0.20.0的配置中进行了拆分，分别放在三个配置文件中，如下：1、core-site.xml配置文件内容配置如下所示：<?xml version="1.0"?>
<?xml-styl
转载
2024-06-03 10:24:42
68阅读
利用空闲时间把最近几天学到的东西做个笔记先，^_^o~ 努力！
Ubuntu 12.04 ；hadoop 1.1. 1，jdk 1.7u11。
1. 在Ubuntu下安装JDK
原创
2013-01-28 00:05:15
968阅读
[toc]Hadoop单机版安装配置前言Hadoop单机版本的环境搭建比较简单，这里总结一下。Centos基本配置网络配置IPADDR=192.168.43.101
NETMASK=255.255.255.0
GATEWAY=192.168.43.2
DNS1=202.96.128.166
DNS2=202.96.128.86配置完成后重启网络：service network restart修改主
转载
2023-12-12 10:44:23
89阅读
# Hadoop单机版配置指南
作为一名刚入行的开发者，配置Hadoop单机版可能会让你感到困惑。但不用担心，我将通过这篇指南，一步步教你如何完成配置。
## 配置流程
首先，让我们通过一个表格来了解整个配置流程：
| 步骤 | 描述 |
| ---- | ---- |
| 1 | 下载并解压Hadoop |
| 2 | 配置Hadoop环境变量 |
| 3 | 编辑Ha
原创
2024-07-30 07:27:21
79阅读
