购买存储阵列柜已经有很长一段时间了，以前由于使用TimeMachine直接搜索内网网段时发现不能此设备，后来就一直搁置了，最近由于Mac的风扇出了问题（使用才两年多）刚更换了风扇，感觉到自己的电脑已经人到中年了，怕突然某天遭遇不幸，所以数据备份需要尽快搞起来，防止重要数据丢失，现在已经通过NAS在进行备份了，记录下操作流程，希望能帮助到感兴趣的同学。配置samba服务使TimeMac
转载
2023-11-27 13:02:42
226阅读
一、安装了一台虚拟机，先安装单机版Hadoop，为克隆做准备 首先本地下载Hadoop2.7.3文件，然后打开Mac终端上传文件到服务器上指定位置：scp hadoop2.7.tgz.gz root@192.168.99.120:/usr/bigdata/tools/文件的目录结构：  
转载
2024-01-29 06:06:30
624阅读
专题：大数据单机学习环境搭建和使用2.Hadoop(本地模式)安装及文件配置2.1安装java2.2Hadoop安装与配置2.3设置ssh免密登录2.4开启hadoop2.6访问应用 大数据单机学习环境搭建(1)Hadoop本地单节点安装 2.Hadoop(本地模式)安装及文件配置严格按照步骤走，不要跳，不要跳，不要跳2.1安装java# 2.1先安装java
cd /opt
tar -zxv
转载
2024-01-09 22:17:10
75阅读
mac搭建Hadoop和hive环境 文章目录mac搭建Hadoop和hive环境 Mac 搭建 Hadoop 1、ssh ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys2、安装hadoopbrew install hadoop3、配置 主要都在这个目录
转载
2023-10-21 22:01:30
220阅读
# 在Mac M1上搭建Hadoop单机环境
搭建Hadoop单机环境可能对初学者来说有些复杂，但只要按照步骤操作，就能够顺利完成。在本文中，我们将一步一步地指导你如何在Mac M1上设置Hadoop单机环境。
## 流程概述
以下是搭建过程的主要步骤：
| 步骤 | 描述 | 代码/说明 |
|------|------|------------|
| 1 | 安装Homebrew
一、前置条件Hadoop 的运行依赖 JDK，需要预先安装，安装步骤见：二、配置免密登录Hadoop 组件之间需要基于 SSH 进行通讯。2.1 配置映射配置 ip 地址和主机名映射：vim /etc/hosts
# 文件末尾增加
192.168.43.202 hadoop0012.2 生成公私钥执行下面命令行生成公匙和私匙：ssh-keygen -t rsa3.3 授权进入 ~/.ssh 目录
转载
2023-09-04 11:36:03
57阅读
1.下载hadoop-2.7.3.tar.gzhttp://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.7.3/hadoop-2.7.3.tar.gz2.解压hadoop-2.7.3.tar.gz3.进入hadoop-2.7.3目录4.修改配置etc/hadoop/（1）core-site.xml（2）hdfs-site.xml注意：因
原创
2017-02-06 17:54:41
415阅读
点赞
# 单机搭建 Hadoop
## 简介
Hadoop是一个由Apache基金会开发的开源分布式计算框架，可用于存储和处理大规模数据。在本教程中，我们将教你如何在单台机器上搭建Hadoop环境。
## 步骤概览
以下是搭建Hadoop环境的主要步骤：
| 步骤 | 操作 |
| --- | --- |
| 1 | 安装Java Development Kit (JDK) |
| 2 | 下载和
原创
2024-05-27 11:42:19
94阅读
一、环境准备1.说明hadoop的下载来源有：官方版本：http://archive.apache.org/dist/hadoop/CDH版本：http://archive.cloudera.com/cdh5企业应用一般选择CDH版本，因为比较稳定。若决定使用CDH版本，则要保证相关软件的CDH版本相同，如 选择 hadoop-2.6.0-cdh5.9.3 与 &n
转载
2023-09-14 15:15:09
107阅读
整体介绍：本次是安装hadoop的伪分布式环境，在虚拟机上搭建4台机器，master、slave1、slave2、slave3。master作为namenode，slavex作为datanode1、准备工具 virtualbox centos7 xshell5
转载
2023-09-01 11:07:11
94阅读
# 如何在Mac上搭建Hadoop单机模式
作为一名初入数据工程领域的开发者，你可能会听到“哈adoop”这个词。Hadoop是一种用于大规模数据处理的开源框架。在本文中，我们将学习如何在Mac上设置Hadoop的单机模式。单机模式是Hadoop最简单的运行模式，非常适合初学者学习和测试。
## 流程概述
为了帮助你顺利完成Hadoop的安装和配置，我们将整个过程分为几个步骤。以下是我们将要
原创
2024-09-01 05:06:52
109阅读
# 如何在Mac上部署单机Hadoop
Hadoop是一种流行的大数据处理框架，而在本地部署Hadoop可以帮助我们更好地学习和开发。本文将指导你如何在Mac上部署单机Hadoop。为了让这个过程更加清晰，我将介绍以下步骤，并提供详细的代码和注释。
## 部署流程概览
| 步骤 | 描述 |
|------|------|
| 1 | 安装Java |
| 2 | 下载Hadoo
原创
2024-08-08 16:23:50
33阅读
Hadoop是一个分布式计算框架，适用于离线的海量信息批处理，大文件日志分析等，可以在大量廉价硬件设备组成的集群上运行应用程序，并未应用程序提供一组稳定可靠的接口，旨在构建一个具有高可靠性和良好扩展性的分布式系统。Hadoop的核心是HDFS（Hadoop Distributed File System），Mapreduce和Hbase，他们分别是Google云计算核心技术GFS，Mapreduc
转载
2023-07-13 16:47:33
763阅读
目录一 Homebrew安装二 SSH免密登录配置三 Hadoop安装四 伪分布式配置a.hadoop-env.sh配置b.core-site.xml配置c.hdfs-site.xml配置d.mapred-site.xml配置e.yarn-site.xml配置五 启动运行六 测试WordCount一 Homebrew安装Homebrew是一个包管理器，是Mac上的软件安装管理工具，类似于Linux
转载
2024-09-09 10:03:25
122阅读
文章目录1. 安装hadoop并修改配置文件1.1 配置proflie文件1.2 第一个：hadoop-env.sh1.3 第二个 core-site.xml1.4 第三个 hdfs-site.xml1.5 第四个 mapred-site.xml1.6 第五个 yarn-site.xml2. 格式化 namenode3. 启动 hadoop4. 验证是否启动成功 1. 安装hadoop并修改配置
转载
2023-08-30 15:41:36
95阅读
最近在用mac笔记本搭建hadoop+hive+spark的测试环境，中间遇到不少问题，所以，记录一下，希望以
原创
2022-04-29 22:48:01
1222阅读
通过一段时间的学习，我在我的centos上安装了单机hadoop，如果这对你有帮助，就进来探讨学习一下Hadoop伪分布式配置Hadoop 可以在单节点上以伪分布式的方式运行，Hadoop 进程以分离的 Java 进程来运行，节点既作为 NameNode 也作为 DataNode，同时，读取的是 HDFS 中的文件。伪分布式需要修改2个配置文件 core-site.xml 和&
转载
2023-05-29 11:12:22
184阅读
Hadoop学习之整体介绍及环境搭建1 大数据概述1.1 什么是大数据数据(data)是事实或观察的结果，是对客观事物的逻辑归纳，是用于表示客观事物的未经加 工的的原始素材。大数据
Hadoop是一个开源的分布式存储和计算框架，可以用于处理海量数据。如果你想要在自己的机器上搭建Hadoop单机模式，我可以教你如何操作。在Hadoop单机模式中，Hadoop会以伪分布式模式的形式运行，所有Hadoop的组件都会运行在同一台机器上。
下面是搭建Hadoop单机模式的步骤：
| 步骤 | 操作
原创
2024-05-27 11:43:44
84阅读
# 使用Docker搭建单机Hadoop环境
Hadoop是一个流行的分布式计算平台，广泛用于大数据处理与存储。通过Docker，可以轻松地在本地环境中搭建一个单机版Hadoop，方便开发和测试。本文将指导您如何使用Docker搭建一个简单的单机Hadoop环境，同时提供相关的代码示例和状态图、类图。
## 一、环境准备
在开始之前，请确保您的机器上已安装Docker。如果尚未安装，请参考[
