一、环境 windows 7 64bit jdk 1.8 hadoop 2.7.4 下载地址：http://hadoop.apache.org/releases.html二、步骤
原创
2017-09-29 09:35:53
7007阅读
1评论
一、hadoop fs 命令1、hadoop fs –fs [local | <file system URI>]：声明hadoop使用的文件系统，如果不声明的话，使用当前配置文件配置的，按如下顺序查找：hadoop jar里的hadoop-default.xml->$HADOOP_CONF_DIR下的hadoop-default.xml->$HADOOP_CONF_DIR
转载
2023-05-30 14:35:58
62阅读
Hadoop2.7.4完全分布式集群构建
原创
2018-12-14 19:10:01
656阅读
一、前置条件Hadoop 的运行依赖 JDK，需要预先安装，安装步骤见：二、配置免密登录Hadoop 组件之间需要基于 SSH 进行通讯。2.1 配置映射配置 ip 地址和主机名映射：vim /etc/hosts
# 文件末尾增加
192.168.43.202 hadoop0012.2 生成公私钥执行下面命令行生成公匙和私匙：ssh-keygen -t rsa3.3 授权进入 ~/.ssh 目录
转载
2023-09-04 11:36:03
57阅读
1.下载hadoop-2.7.3.tar.gzhttp://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.7.3/hadoop-2.7.3.tar.gz2.解压hadoop-2.7.3.tar.gz3.进入hadoop-2.7.3目录4.修改配置etc/hadoop/（1）core-site.xml（2）hdfs-site.xml注意：因
原创
2017-02-06 17:54:41
415阅读
点赞
# 单机搭建 Hadoop
## 简介
Hadoop是一个由Apache基金会开发的开源分布式计算框架，可用于存储和处理大规模数据。在本教程中，我们将教你如何在单台机器上搭建Hadoop环境。
## 步骤概览
以下是搭建Hadoop环境的主要步骤：
| 步骤 | 操作 |
| --- | --- |
| 1 | 安装Java Development Kit (JDK) |
| 2 | 下载和
原创
2024-05-27 11:42:19
94阅读
一、环境准备1.说明hadoop的下载来源有：官方版本：http://archive.apache.org/dist/hadoop/CDH版本：http://archive.cloudera.com/cdh5企业应用一般选择CDH版本，因为比较稳定。若决定使用CDH版本，则要保证相关软件的CDH版本相同，如 选择 hadoop-2.6.0-cdh5.9.3 与 &n
转载
2023-09-14 15:15:09
107阅读
整体介绍：本次是安装hadoop的伪分布式环境，在虚拟机上搭建4台机器，master、slave1、slave2、slave3。master作为namenode，slavex作为datanode1、准备工具 virtualbox centos7 xshell5
转载
2023-09-01 11:07:11
94阅读
Hadoop是一个分布式计算框架，适用于离线的海量信息批处理，大文件日志分析等，可以在大量廉价硬件设备组成的集群上运行应用程序，并未应用程序提供一组稳定可靠的接口，旨在构建一个具有高可靠性和良好扩展性的分布式系统。Hadoop的核心是HDFS（Hadoop Distributed File System），Mapreduce和Hbase，他们分别是Google云计算核心技术GFS，Mapreduc
转载
2023-07-13 16:47:33
763阅读
通过一段时间的学习，我在我的centos上安装了单机hadoop，如果这对你有帮助，就进来探讨学习一下Hadoop伪分布式配置Hadoop 可以在单节点上以伪分布式的方式运行，Hadoop 进程以分离的 Java 进程来运行，节点既作为 NameNode 也作为 DataNode，同时，读取的是 HDFS 中的文件。伪分布式需要修改2个配置文件 core-site.xml 和&
转载
2023-05-29 11:12:22
184阅读
文章目录1. 安装hadoop并修改配置文件1.1 配置proflie文件1.2 第一个：hadoop-env.sh1.3 第二个 core-site.xml1.4 第三个 hdfs-site.xml1.5 第四个 mapred-site.xml1.6 第五个 yarn-site.xml2. 格式化 namenode3. 启动 hadoop4. 验证是否启动成功 1. 安装hadoop并修改配置
转载
2023-08-30 15:41:36
95阅读
Hadoop学习之整体介绍及环境搭建1 大数据概述1.1 什么是大数据数据(data)是事实或观察的结果，是对客观事物的逻辑归纳，是用于表示客观事物的未经加 工的的原始素材。大数据
Hadoop是一个开源的分布式存储和计算框架，可以用于处理海量数据。如果你想要在自己的机器上搭建Hadoop单机模式，我可以教你如何操作。在Hadoop单机模式中，Hadoop会以伪分布式模式的形式运行，所有Hadoop的组件都会运行在同一台机器上。
下面是搭建Hadoop单机模式的步骤：
| 步骤 | 操作
原创
2024-05-27 11:43:44
84阅读
# 使用Docker搭建单机Hadoop环境
Hadoop是一个流行的分布式计算平台，广泛用于大数据处理与存储。通过Docker，可以轻松地在本地环境中搭建一个单机版Hadoop，方便开发和测试。本文将指导您如何使用Docker搭建一个简单的单机Hadoop环境，同时提供相关的代码示例和状态图、类图。
## 一、环境准备
在开始之前，请确保您的机器上已安装Docker。如果尚未安装，请参考[
最近一直在自学Hadoop，今天花点时间搭建一个开发环境，并整理成文。首先要了解一下Hadoop的运行模式：单机模式（standalone） 单机模式是Hadoop的默认模式。当首次解压Hadoop的源码包时，Hadoop无法了解硬件安装环境，便保守地选择了最小配置。在这种默认模式下所有3个XML文件均为空。当配置文件为空时，Hadoop会完全
转载
2024-08-02 13:03:43
45阅读
云计算、大数据、互联网的技术交流Q群54224889一、软件：stable版本的hadoop包，ssh, rsyn, java 帮助文档：在http://hadoop.apache.org下 -> 左边document->stable下二、注意问题：(1) ssh做到不用密码登陆。(2) hadoop namenode与datanode的关系，也就是master与slave的关系。(3
转载
2024-03-08 12:40:58
39阅读
Hadoop单机版环境搭建一、前置条件Hadoop 的运行依赖 JDK，需要预先安装，安装步骤见：Linux 下 JDK 的安装二、配置免密登录Hadoop 组件之间需要基于 SSH 进行通讯。2.1 配置映射配置 ip 地址和主机名映射：vim /etc/hosts
# 文件末尾增加
192.168.43.202 hadoop0012.2 生成公私钥执行下面命令行生成公匙和私匙：ssh-key
转载
2024-06-26 10:46:41
276阅读
Hadoop安装进程目录前言一、Hadoop是什么？二、Hadoop单机版安装1.安装步骤2.Hadoop运行模式3.Hadoop集群配置三、总结 前言随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文介绍了机器学习的基础内容。提示：以下是本篇文章正文内容，下面案例仅供参考。一、Hadoop是什么？Hadoop是一个由Apache基金会所开发的分布式系统基础架
转载
2023-07-09 12:13:15
160阅读
Docker的consul集群搭建，自动发现新增服务我们知道在生产环境中，在高并发的情况下会一下创建多个容器去运行业务，此时代理端nginx需要更改自己的配置文件来加入这些容器，之后随着业务量的下降容器又会被销毁，此时有需要更改代理端的配置文件。如果这一切都是人手动完成的话是不可能的。所以这次就需要借助concul完成容器自动添加到集群服务中。一、consul集群的工作流程 在Docker节点中，
转载
2023-10-21 21:50:33
100阅读
1.protobuf编译安装[root@hadoop1 ~]# yum install svn autoconf automake libtool cmake ncurses-devel openssl-devel gcc*
[root@hadoop1 ~]# tar&
原创
2017-08-28 18:08:11
1177阅读
点赞
