目录一 Homebrew安装二 SSH免密登录配置三 Hadoop安装四 伪分布式配置a.hadoop-env.sh配置b.core-site.xml配置c.hdfs-site.xml配置d.mapred-site.xml配置e.yarn-site.xml配置五 启动运行六 测试WordCount一 Homebrew安装Homebrew是一个包管理器，是Mac上的软件安装管理工具，类似于Linux
转载
2024-09-09 10:03:25
122阅读
目录最简单的Hadoop架构... 1伪分布式搭建... 1JDK的配置... 1Hadoop下载与安装... 4Windows系统的特殊点1. 10Windows系统的特殊点2. 11Windows的注意事项主要就是在 10 11 页，其它步骤没有太大区别，个人建议在Linux搭建，避免更多问题发生，Hadoop的设计压根就没有考虑过Windows哦！如果配置文件写好就可以直接进入到
转载
2024-10-08 13:10:17
47阅读
一、HDFS实验：部署HDFS指导2.1 实验目的1． 理解HDFS存在的原因；2． 理解HDFS体系架构；3． 理解master/slave架构；4． 理解为何配置文件里只需指定主服务、无需指定从服务；5． 理解为何需要客户端节点；6． 学会逐一启动HDFS和统一启动HDFS；7． 学会在HDFS中上传文件。2.2 实验要求要求实验结束时，已构建出以下HDFS集群：1． master
转载
2024-03-05 08:17:09
82阅读
购买存储阵列柜已经有很长一段时间了，以前由于使用TimeMachine直接搜索内网网段时发现不能此设备，后来就一直搁置了，最近由于Mac的风扇出了问题（使用才两年多）刚更换了风扇，感觉到自己的电脑已经人到中年了，怕突然某天遭遇不幸，所以数据备份需要尽快搞起来，防止重要数据丢失，现在已经通过NAS在进行备份了，记录下操作流程，希望能帮助到感兴趣的同学。配置samba服务使TimeMac
转载
2023-11-27 13:02:42
226阅读
目录1 安装环境1.1 服务器信息1.2 节点配置信息2 安装前准备2.1 安装DM8并初始化2.2 准备初始化数据2.3 主备节点服务器2.4 监视器服务器2.5 功能测试1 安装环境操作系统：CentOS Linux release 7.9.2009 x64硬盘空间：20G软件版本：DM8企业版1.1 服务器信息IP地址节点类型操作系统备注192.1
一、安装了一台虚拟机，先安装单机版Hadoop，为克隆做准备 首先本地下载Hadoop2.7.3文件，然后打开Mac终端上传文件到服务器上指定位置：scp hadoop2.7.tgz.gz root@192.168.99.120:/usr/bigdata/tools/文件的目录结构：  
转载
2024-01-29 06:06:30
624阅读
专题：大数据单机学习环境搭建和使用2.Hadoop(本地模式)安装及文件配置2.1安装java2.2Hadoop安装与配置2.3设置ssh免密登录2.4开启hadoop2.6访问应用 大数据单机学习环境搭建(1)Hadoop本地单节点安装 2.Hadoop(本地模式)安装及文件配置严格按照步骤走，不要跳，不要跳，不要跳2.1安装java# 2.1先安装java
cd /opt
tar -zxv
转载
2024-01-09 22:17:10
75阅读
首先说明，本文记录的是博主搭建的3节点的完全分布式hadoop集群的过程，环境是centos 7，1个nameNode，2个dataNode，如下：1、首先，创建好3个Centos7的虚拟机2、java环境的搭建，可以参考我的博客《centos7 安装jdk 1.8》3、关闭或者禁用防火墙， systemctl stop firewalld.service 关闭防火墙；sy
在Mac上搭建Kubernetes单机环境是一个很常见的需求，尤其对于想要学习Kubernetes的开发者来说是非常有帮助的。在这篇文章中，我将向刚入行的小白开发者介绍如何在Mac上搭建Kubernetes单机环境。
首先，让我们看看整个搭建过程的步骤：
| 步骤 | 操作 |
| --- | --- |
| 1 | 安装Homebrew |
| 2 | 通过Homebrew安装Minikub
原创
2024-03-21 11:06:49
164阅读
# 在Mac M1上搭建Hadoop单机环境
搭建Hadoop单机环境可能对初学者来说有些复杂，但只要按照步骤操作，就能够顺利完成。在本文中，我们将一步一步地指导你如何在Mac M1上设置Hadoop单机环境。
## 流程概述
以下是搭建过程的主要步骤：
| 步骤 | 描述 | 代码/说明 |
|------|------|------------|
| 1 | 安装Homebrew
mac搭建Hadoop和hive环境 文章目录mac搭建Hadoop和hive环境 Mac 搭建 Hadoop 1、ssh ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys2、安装hadoopbrew install hadoop3、配置 主要都在这个目录
转载
2023-10-21 22:01:30
220阅读
环境介绍主库：主机名rac01rac02实体IP10.206.132.23210.206.132.233私有IP192.168.56.12192.168.56.13虚拟IP10.206.132.23710.206.132.238SCAN IP10.206.132.239实例名racdb1racdb2数据库名racdb数据文件目录DGDATA01,DGDATA02(ASM磁盘） 备库：主机
转载
2024-03-11 20:40:00
58阅读
软件简介Apache ORC 文件格式是一种Hadoop生态圈中的列式存储格式，它的产生早在2013年初，最初产生自ApacheHive，用于降低Hadoop数据存储空间和加速Hive查询速度。ORC(OptimizedRC File)存储源自于RC(RecordColumnarFile)这种存储格式，RC是一种列式存储引擎，对schema演化(修改schema需要重新生成数据)支持较差，而ORC
转载
2024-04-17 05:39:18
16阅读
# Hadoop单机模式 hdfs实现指南
## 1. 整体流程
为了实现Hadoop单机模式hdfs，我们需要经历以下步骤：
| 步骤 | 描述 |
|---------------|-------------------------|
| 1. 下载Hadoop | 从官方网站下载Hadoop压缩包 |
|
原创
2024-04-18 03:27:22
46阅读
目录1.前言2.HDFS2.1.指令操作2.2.JAVA API3.HBase3.1.指令操作3.2.JAVA API1.前言本文是作者大数据专栏系列的其中一篇，前文中已经详细聊过分布式文件系统HDFS和分布式数据库HBase了，本文将会是它们的实操讲解。2.HDFS2.1.指令操作创建目录：hdfs dfs -mkdir /user/mydir递归创建目录：hdfs dfs -mkdir -p
# HDFS Docker单机部署教程
## 1. 流程图
```mermaid
sequenceDiagram
participant 小白
participant 开发者
小白->>开发者: 请求帮助
开发者->>小白: 提供HDFS Docker单机部署教程
```
## 2. 教程步骤
| 步骤 | 描述 |
| --- | --
原创
2023-09-30 09:32:49
556阅读
最近想看一下hadoop ，万事开头难所以先从环境搭建入手但是网上的帖子都是针对hadoop 0.x版本的，对于我这样的小白起了一些误导作用折腾了半天终于看到小象，遂作此记录。准备环境：linux 系统（本次使用centos 6.0）Java开发环境（采用jdk6）opensshhadoop 2.0.3大家可以从官方下载，我提供网盘下载jdk、hadoop：http://pan.baidu.com
最近在用mac笔记本搭建hadoop+hive+spark的测试环境，中间遇到不少问题，所以，记录一下，希望以
原创
2022-04-29 22:48:01
1222阅读
分布式集群:
Hadoop
收集：flume kafka
存储：HDFS
计算：MapReduce
分布式集群存储（HDFS）：
配置jdk环境变量： vim/etc/proflile
JAVA_HOME=/usr/jdk1.8.0
PATH=$JAVA_HOME/bin:$PATH($:连接到之前的PATH)
e
转载
2024-04-30 17:10:43
48阅读
大数据环境部署一（hdfs集群搭建）
大数据分析使用的数据源是shp文件，目前存储方案是存储在HDFS中。Hdfs文件服务器部署起来比较简单，简述一下。
hdfs版本选择比较随意，3.x都可以。
hdfs部署正常情况下10分钟就够了，需要注意的就是免密登录哪里，不要随便chomd权限，不然会很麻烦的。
如果是新机器，几乎不需要改权限就可以正常部署。1：安装软件和前提环境服务器：c
转载
2023-07-13 16:57:12
188阅读
